arXiv stat.ML· Nghi Dao, Calder Morton-Ferguson, Noah Golowich, Adam Block·· 12 天前AI 评分36
面向大语言模型推理高效探索的重试感知策略优化 ReAPO
ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning
AI 导读
研究人员提出大语言模型推理优化算法 ReAPO，通过改进 GRPO 引入重试感知信用分配，在不奖励前序失败的前提下强化成功重试。在 0.6B 至 4B 的 Qwen3 与 OLMo-2 模型及 8 个数理基准测试中，ReAPO 首答表现全面超越 GRPO。在 Qwen3-0.6B 上，其达到峰值准确率生成的 token 较组大小或步数翻倍的 GRPO 分别减少 39% 与 31%。
来源：arXiv stat.ML · arxiv.org