arXiv cs.LG· Xuanchang Zhang, Tong Zhang·· 18 天前AI 评分40
用于可验证奖励离线强化学习的 Gibbs-Gap 策略优化（GGPO）
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
AI 导读
研究人员提出了 Gibbs-Gap 策略优化（GGPO），无需学习者与行为策略间的重要性权重即可在离线强化学习中训练大语言模型。实验表明，GGPO 在数学推理基准以及固定离线数据上均优于 GRPO 和 AGRO，并在策略过时度增加时保持性能稳定。消融实验显示，采用默认参考策略刷新调度的 GGPO 在五项基准问题加权平均分达到 46.58，远高于固定参考策略的 32.96。
来源：arXiv cs.LG · arxiv.org