热点事件历史事件
研究发现Muon优化器加剧MoE首层负载失衡
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年10月30日，arXiv cs.LG发布的一项一手研究指出，Muon优化器会使混合专家（MoE）模型的首个MoE层更难实现负载均衡。在对55M和108M激活参数的MoE模型进行的测试中，研究人员发现Muon优化器会导致首个MoE层的路由偏置跨度平均翻倍。这使得模型在预热阶段结束后，最繁忙专家的实际负载达到了公平份额的4到7倍，引发了严重的专家负载失衡现象。
AI 根据报道生成 · 3 天前更新
最新进展10月30日 12:00
研究指出Muon使MoE首层路由偏置跨度翻倍，最繁忙专家负载达公平份额的4至7倍。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv cs.LGMuon 使首个 MoE 层更难实现负载均衡
研究发现在 55M 和 108M 激活参数的 MoE 模型中，Muon 优化器会使首个 MoE 层的路由偏置跨度平均翻倍，导致预热后最繁忙专家的负载达到公平份额的 4 到 7 倍。
本事件热度走势
当前热度 3·可比范围峰值 7（10月31日 02:00）·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。