arXiv cs.AI· Yuxuan Lou, Kai Yang, Geng Zhang, Yong Liu, Yang You·· 25 天前AI 评分38
DivMoE：通过跨领域专家组合实现细粒度 MoE Upcycling
DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition
AI 导读
研究提出 DivMoE 框架，通过领域专精专家初始化与多样性约束路由，首次实现结构平衡的细粒度 MoE Upcycling。在 Qwen3-1.7B 等模型的 15 个基准测试中，DivMoE 以 55.6% 平均准确率超越 6 项基线并消除性能倒退。微调后 12B 的 DivMoE 准确率达 64.5%，追平 16B 的 Moonlight-MoE 并领先 NVIDIA 基线 6.1 个百分点。
来源：arXiv cs.AI · arxiv.org