arXiv cs.LG· Xuyang Zhong, Jiuding Yang, Yiwen Guo, Chen Liu·· 11 天前AI 评分35
MOER：基于专家前缀引导与选择性回滚的混合策略优化框架
MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
AI 导读
MOER 提出一种强化学习混合策略优化框架，通过向 prompt 注入逐步缩短的专家思维链前缀引导自主推理，并借助选择性回滚机制将失败补全替换为完整专家轨迹以保证正确性。该框架结合了用于 on-policy token 的 GRPO 损失与置信域 SFT 损失以稳定训练，在数学和通用推理任务中取得最高平均分，代码已开源。
来源：arXiv cs.LG · arxiv.org