生成式价值分类器：利用动作监督提升强化学习价值评估

研究人员提出生成式价值分类器（Generative Value Classifier），改变传统直接预测状态-动作对回报的判别式方法，转而反向建模各可能回报下动作的出现概率。该方法将 Critic 的生成组件设计为以回报为条件的策略，通过每个动作共同监督 Critic 训练，并用平方误差损失锚定 Q-value。离线与在线 RL 评测表明，该方法表现优于主流判别式方法及分布式强化学习方法。