arXiv cs.LG· Lianfa Li·· 18 天前AI 评分23
用于大语言模型算术推理的贝尔曼一致轨迹强化学习
Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning
AI 导读
研究人员提出一种用于大语言模型算术推理的贝尔曼一致轨迹强化学习方法，通过轨迹贝尔曼残差最小化（TBRM）将稀疏奖励转化为密集的 token 级信号。该框架结合 RLOO 分组策略与后验目标重标记，在稳定梯度方差方面显著优于 GRPO。
来源：arXiv cs.LG · arxiv.org