arXiv cs.AI· Suorong Yang, Jiaxin Wang, Jiaming Su, Chentao Yue, Furao Shen, Peng Ye, Soujanya Poria·· 22 天前AI 评分35
少训多学：基于不确定性引导渐进收缩的高效推理后训练框架
Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training
AI 导读
研究人员提出一种基于不确定性引导的渐进收缩框架，通过围绕中间推理状态构建蒙特卡洛推理树揭示过程级不确定性，将监督与优化聚焦在最具学习价值的轨迹上。该框架先将语料收缩为紧凑的教师数据池，再在 SFT 期间根据学生模型状态进行在线路由优化。实验显示该方法仅需全量数据 SFT 0.22% 的优化预算（训练暴露减少超 450x），即可保持甚至提升推理性能。
来源：arXiv cs.AI · arxiv.org