arXiv cs.LG· Ryan Swift, Konstantinos Psounis·2026-10-09 12:00· 25 天前AI 评分34

KDFP：大语言模型知识蒸馏的第一性原理方法

KDFP: A first-principles approach to knowledge distillation in large language models

AI 导读

研究人员提出面向大语言模型白盒通用知识蒸馏的新方法 KDFP，从第一性原理出发构建适用于现代 LLM 的蒸馏方案。在 9 个 benchmark 测试中，KDFP 表现相比现有方法提升 1.6% 至 4.9%，并通过瞬态参数削减将训练效率最高提升 99.1%。

来源：arXiv cs.LG · arxiv.org