arXiv cs.LG· Andrey Goncharov, Daniil Vyazhev, Simon Epanov, Alexey Zaytsev·· 18 天前AI 评分35
基于熵增采样与答案混合的递归离线知识蒸馏
Recursive Offline Distillation via Entropy Gain Sampling and Answer Mixing
AI 导读
研究人员提出一种结合熵增采样与答案混合的递归离线知识蒸馏方法，用于在无法完全访问教师模型内部表征时蒸馏推理链。该方法在 3-4B 开源模型上结合 70-72B 辅助中型模型按熵差采样推理链，并用单 token 真实答案补充思考轨迹。在相当的数据预算下，该方法平均得分达 57.15±1.01，优于原生知识蒸馏的 51.61，且展现出更陡峭的学习曲线。
来源：arXiv cs.LG · arxiv.org