arXiv cs.LG· Mengni Jia, Mengyu Zhou, Xiaoxi Jiang, Guanjun Jiang·· 2 小时前AI 评分45
Reward Budgeting 减少 LLM 推理强化学习中的过早收敛
Reward Budgeting Reduces Premature Convergence in Reinforcement Learning for LLM Reasoning
AI 导读
研究提出即插即用的优势构建方法 Reward Budgeting，通过为每个 prompt 分配固定总奖励预算，有效缓解 LLM 推理在强化学习中因策略过快尖锐而导致的过早收敛与性能停滞。在 Qwen3-8B 与 Llama3.2-3B-Instruct 上的实验显示，该方法在 AMC23 上最高提升 +12.50，在 AIME24 和 AIME25 上最高提升 +10.00。
来源：arXiv cs.LG · arxiv.org