arXiv cs.LG· Frank F. Yang, Kefei Yan, Yiren Wang, Yiyang Wang·· 18 天前AI 评分37
视觉语言模型中的同策略知识蒸馏机制分析：学生模型如何继承教师模型的行为与缺陷
Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models
AI 导读
研究对比了视觉语言模型（VLM）后训练中的同策略知识蒸馏（OPD）与过滤 SFT，发现 OPD 会在学生模型访问的状态上同时继承教师模型的知识与失败模式。
来源：arXiv cs.LG · arxiv.org