解析在线策略蒸馏（OPD）：教师模型的优势究竟体现在何处？

研究通过在师生分歧处受控替换 token，揭示了在线策略蒸馏（OPD）中教师优势的具体来源。实验表明多次重复替换可将准确率从 28.4% 提升至 74.5%（接近教师的 76.9%），且基于质量和 KL 的筛选比随机替换高 15-18 个百分点。此外，更高的 argmax 一致性并不会持续改善准确率，研究建议采用能稳定学习高价值修正的训练方案。