Latent-MOPD：隐空间多教师在线策略知识蒸馏

Latent-MOPD 是首个面向大语言模型的表征级多教师在线策略蒸馏方法，无需额外训练即可同时融合专家的预测分布与内部隐状态。该方法通过共享投影对齐隐层维度并按领域分组更新，使监督逐步从隐状态过渡到 token 预测。在涵盖数学、代码和逻辑的全部 9 项基准中，该方案均超越单一通道基线，同参数量学生模型在多数基准上胜过最佳单项教师。