arXiv cs.LG· Xu Han, Jiajing Hu, Li-Ping Liu·· 19 天前AI 评分35
连续流语言模型如何反向传播验证器奖励
Backpropagating Verifier Rewards Through Continuous Flow Language Models
AI 导读
研究者提出了面向连续流语言模型的强化学习后训练框架，可直接反向传播验证器奖励。该框架引入能评估中间 token 嵌入价值的 critic，绕过不可微的离散解码步骤以获得方差远低于 REINFORCE 的路径梯度，并从每个 token 表示预测价值来优化策略。实验显示，该方法在 4 项推理任务上稳定提升了连续流语言模型表现，并优于同类基线。
来源：arXiv cs.LG · arxiv.org