论 KL 正则化策略优化（KLPO）

研究提出 KL 正则化策略优化（KLPO）框架，用于解决大语言模型（LLM）智能体异步强化学习中的采样与训练策略不匹配难题。KLPO 将 KL 正则项锚定在采样器上，无需重要性权重与 Critic，仅凭每个提示词单次 rollout 即可从终止奖励计算无偏梯度。此外，SPPO、GPO、REBEL 与 BPO 均被证明是 KLPO 的特例。