arXiv cs.LG· Marcos Hernanz·· 4 天前AI 评分41
Muon 使首个 MoE 层更难实现负载均衡
Muon Makes the First Mixture-of-Experts Layer Harder to Balance
AI 导读
研究发现在 55M 和 108M 激活参数的 MoE 模型中，Muon 优化器会使首个 MoE 层的路由偏置跨度平均翻倍，导致预热后最繁忙专家的负载达到公平份额的 4 到 7 倍。
来源：arXiv cs.LG · arxiv.org