arXiv cs.LG· Arya Fayyazi, Seyedarmin Azizi, Mehdi Kamal, Massoud Pedram·· 2 小时前AI 评分39
C-GRPO：共形分组相对策略优化
C-GRPO: Conformal Group Relative Policy Optimization
AI 导读
研究人员提出 C-GRPO，用校准共形阈值替代标准 GRPO 的固定采样预算，为训练终止规则提供有限样本覆盖保证。在涵盖数学、研究生级科学与代码生成的 6 个基准测试中，C-GRPO 相比固定预算 GRPO 减少 49-70% 的平均训练 rollout，并取得最强 pass@1。该方法可跨模型族迁移，实现最高 82% 的 rollout 节省。
来源：arXiv cs.LG · arxiv.org