arXiv cs.LG· Khouloud Saadi, Di Wang·· 11 天前AI 评分34
一师多视角：降低同策略自蒸馏对参考答案敏感度的新方法
One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation
AI 导读
针对同策略自蒸馏（OPSD）中教师分布过度依赖单一完整参考解答导致的“参考引发目标不稳定”问题，研究人员提出了蒙特卡洛特权蒸馏（MCPD）方法。该方法将特权上下文建模为部分参考视角的分布，评估多视角下的教师分布并在概率空间进行平均，从而蒸馏边缘教师分布。在数学与科学推理基准测试中，MCPD 提供了更具参考一致性的监督，效果持续优于全参考 OPSD。
来源：arXiv cs.LG · arxiv.org