多数投票奖励为何能匹敌可验证强化学习

研究表明多数投票等自生成标签在强化学习中能逼近真实奖励效果，根本原因在于批次更新层面上跨提示词的标签错误缺乏方向一致性。实验测得单个提示词自身梯度占输出变化不足 1%，且多数投票与真实梯度的噪声校正余弦相似度在误差范围内为 1，随机翻转 30% 标签仍不破坏梯度方向。结果证明决定自生成标签能否替代验证的是错误一致性而非错误率，但真实奖励在最终准确率上仍具有局部优势。