arXiv cs.AI· Keegan Wang·· 19 天前AI 评分45
在 LLM 上迭代,在 SLM 上服务
Iterate on an LLM, Serve on an SLM
AI 导读
研究提出先在前沿 LLM 上通过提示词迭代业务逻辑,再将真实线上行为通过 SFT 蒸馏到小语言模型(SLM)的部署方案。在护理排班场景中,基于 11.6k 条线上决策微调的 LoRA Qwen3-8B 达到 0.913 一致性,表现比教师模型 GPT-5.4-nano 更稳定,盲测中以 48 比 29 获专业人员认可,并将中位数延迟降低约 2.5 倍且大幅降低成本。
来源:arXiv cs.AI · arxiv.org