arXiv cs.AI· Yafeng Tang, Hao Li, Hongsheng Yu, Qiang Fu·· 25 天前AI 评分34
ReTeach:通过多轮反思与重试构建自教师
ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry
AI 导读
研究提出反思性自我蒸馏框架 ReTeach,仅利用模型自身的生成尝试与结果级验证,通过多轮显式反思与重试构建自教师。该方法结合结果感知的样本加权策略进行同策略蒸馏,在保留单次推理特性的同时迁移多轮修正收益。在涵盖数学推理、科学问答和工具使用的 6 个基准测试中,ReTeach 相比 GRPO 将平均准确率提升了 1.39 个百分点。
来源:arXiv cs.AI · arxiv.org