arXiv cs.LG· Doseok Jang, Jon Ander Campos, Youran Qi·· 29 天前AI 评分34
词典序多目标在线策略蒸馏（LMOPD）
Lexicographic Multi-Objective On-Policy Distillation
AI 导读
研究提出词典序多目标在线策略蒸馏（LMOPD），通过显式优先级路由与局部投影整合多专家策略，防止简洁性等次要目标损害模型正确率。在 30B-A3B MoE 模型的 3 个数学基准评测中，双专家设置下 LMOPD 完全保留了准确率与推理质量增益并取得 46.9% 的简洁性提升；四专家设置下保留约 90% 的核心能力增益，显著优于基线的约 57%。
来源：arXiv cs.LG · arxiv.org