分层推理奖励的强化学习：基于 Transformer 的极小化极大最优速率

新研究证明基于 Transformer 的 actor-critic 强化学习算法在分层推理奖励下，能在查询预算与正则化强度上达到极小化极大最优速率。该算法交替进行 KL 正则化策略采样、Transformer critic 拟合及策略更新，并在固定 prompt 数量下实现极小化极大最优。对比显示离线采样会使 regret 衰减受限于对数速率，这从理论上量化了 on-policy 探索的优势。