跳到正文
原文
arXiv cs.AI· Yuxiang Zhang, Ding Cao, Shuting Cui, Lei Wang, Weijieying Ren, Tianxiang Zhao·· 29 天前AI 评分35

通过分段策略内蒸馏学习推理修正:Seg-OPD

Learning to Revise Reasoning with Segment-wise On-Policy Distillation

AI 导读

研究人员提出分段策略内知识蒸馏方法 Seg-OPD,旨在通过重构中间推理片段训练大语言模型学会修正推理。该方法基于不确定性指标选取学生模型生成的片段并获取教师重写版本,训练模型偏好优质重写并保留密集 token 级监督。在数学推理与竞赛编程测试中,Seg-OPD 推理准确率相比基线取得平均 5.22% 的相对提升,相关代码已开源。

来源:arXiv cs.AI · arxiv.org