何时跟随教师：基于优势的在线策略蒸馏（AOPD）

研究人员提出基于优势的在线策略蒸馏（AOPD），通过教师动作在学生模型下的反事实优势进行加权，强化真正有助于提升学生表现的教师指导。该方法仅依赖标准学生采样轨迹与终端奖励进行目标估计，无需额外的 rollout 或奖励评估。在数学、代码与 Medqa 任务实验中，AOPD 在外部教师及自蒸馏设置下均优于传统蒸馏与强化学习基线。