论同策略蒸馏中的异策略教师问题

针对同策略蒸馏中教师面对学生生成前缀续写性能下降的异策略问题，研究人员提出了协同训练框架 SCOUT。该框架结合带可验证奖励的强化学习周期性优化教师模型，使其学习从学生前缀进行续写。实验表明，SCOUT 提升了教师在学生前缀下的续写能力，并在多种模型规模和推理领域中持续增强了同策略蒸馏效果。