ABC：面向可验证奖励强化学习的基于优势的控制变量

新研究提出面向可验证奖励强化学习（RLVR）的控制变量方法 ABC，并将其与直接优势估计（DAE）结合构建了 actor-critic 算法。该方案在离线到在线设定下运行，critic 先在历史收集的轨迹上训练并在在线学习中自适应更新。在数学推理任务中，ABC 仅用显著更少的在线优化步数，便取得了与 GRPO 相当的性能。