基于辅助奖励的自我改进：从验证轨迹中学习与迁移评估

研究提出利用辅助轨迹偏好促进小语言模型的自我改进与迁移，以区分产出相同正确答案的不同推理轨迹。在 Qwen3-1.7B 实验中，UID-Conj. 奖励使在线宏平均较未修改 TTRL 提升 2.08 个百分点，离线加权 SFT 较均匀加权提升 1.93 个百分点。辅助偏好能有效发掘等效正确轨迹在推理阶段未体现的学习价值，且收益具任务依赖性。