面向能力保持的慢-快多教师同策略蒸馏 SF-MOPD

针对多模态大语言模型在多教师蒸馏中通用能力退化的问题，研究者提出慢-快同策略蒸馏框架 SF-MOPD。该方法耦合教师直接更新的快模型与指数移动平均慢模型，在对数概率空间中仅剔除远离慢模型的更新分量。多规模实验显示，SF-MOPD 有效减轻能力干扰，在提升专用多模态能力的同时降低通用基准退化，持续优于原生 MOPD。