arXiv cs.LG· Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 22 天前AI 评分40
广义近端策略优化（GPPO）：从散度视角统一 LLM 强化学习算法
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
AI 导读
研究人员提出广义近端策略优化（GPPO），从散度视角构建起统一 LLM 强化学习算法的理论框架。该方法基于广义 f-散度信任域理论并引入新型估计器拓扑，将 PPO 以及 DAPO、DPPO、RIPO 等变体统一纳入“散度×估计器”二维设计空间中。在 8 个竞赛级数学与代码评测基准上，表现最佳的 GPPO 实例在数学和代码任务上分别超越标准 GRPO 高达 50% 与 14%，取得 SOTA 性能。
来源：arXiv cs.LG · arxiv.org