跳到正文
原文
arXiv cs.AI· Keegan Wang·· 19 天前AI 评分45

在 LLM 上迭代,在 SLM 上服务

Iterate on an LLM, Serve on an SLM

AI 导读

研究提出先在前沿 LLM 上通过提示词迭代业务逻辑,再将真实线上行为通过 SFT 蒸馏到小语言模型(SLM)的部署方案。在护理排班场景中,基于 11.6k 条线上决策微调的 LoRA Qwen3-8B 达到 0.913 一致性,表现比教师模型 GPT-5.4-nano 更稳定,盲测中以 48 比 29 获专业人员认可,并将中位数延迟降低约 2.5 倍且大幅降低成本。

来源:arXiv cs.AI · arxiv.org