将教师 Token 用在关键处：基于成功参考的在策略蒸馏 SR-OPD

研究人员提出成功参考在策略蒸馏（SR-OPD），利用学生模型自身的成功采样作为参考来筛选失败样本，大幅降低教师监督的计算开销。在 3 个教师-学生模型对和 6 个数学推理基准测试中，SR-OPD 在单轮设置下仅使用 Vanilla OPD 3.46%-5.02% 的教师输入 token，同时保持了相当的推理性能。消融实验进一步证实了聚焦成败并存样本及以成功引导失败筛选的有效性。