arXiv cs.LG· Zhicheng Cai, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 22 天前AI 评分41
轨迹感知策略优化（TAPO）：弥合长程 LLM 强化学习中的状态分布差距
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
AI 导读
研究人员提出轨迹感知策略优化（TAPO），通过从离线策略梯度中推导状态分布修正并引入强化学习目标，解决长程自回归推演中的状态分布偏移问题。TAPO 采用几何平均估计器降低方差，并结合长度感知动态裁剪防止轨迹过度更新。在 8 个竞赛级基准测试中，TAPO 相比 GRPO 在数学推理和算法编程上分别取得最高 48% 和 12% 的性能提升。
来源：arXiv cs.LG · arxiv.org