理解离策略与在策略蒸馏：不同训练目标的机制解析

新研究针对多教师顺序蒸馏，对比了前向与反向 KL 散度对应的离策略与在策略蒸馏（OPD），系统解释了 OPD 的优势与脆弱性机制。研究团队开发了对应算法并证明表格设定下的对数遗憾界，随后扩展至函数逼近。结果显示，反向 KL 在无信息反馈下能更好保留专家偏好，但对低估正确回答的教师更敏感，且在长序列中可能偏向错误前缀。