热点事件持续更新
免训练MoE专家剪枝机制与替换算子研究进展
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
2026年11月，发表于arXiv的一项研究系统评估了训练无关混合专家模型（MoE）专家剪枝中的替换算子与路由语义。研究发现，在OLMoE等模型上误用门控重新归一化会导致0.8至8.5分的性能损失。为改善剪枝表现，研究团队提出了闭式低秩映射算子tilted novice。在50%剪枝率条件下，该算子仅增加1.2%至1.8%的参数，在OLMoE和Moonlight模型上相比常量替换分别提升3.45分与1.37分，并且能够稳定支持4-bit和3-bit量化。
AI 根据报道生成 · 16 小时前更新
最新进展11月2日 13:00
研究指出门控重归一化误用缺陷，并提出低秩映射算子tilted novice显著提升性能且支持量化。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.LG训练无关 MoE 专家剪枝中的替换算子与路由语义研究
新研究系统评估了训练无关 MoE 专家剪枝中的替换算子与路由语义，发现在 OLMoE 等模型上误用门控重新归一化会导致 0.8-8.5 分损失。研究提出的闭式低秩映射算子 tilted novice 在 50% 剪枝率下仅增加 1.2-1.8% 参数，在 OLMoE 和 Moonlight 上比常量替换提升 3.45 和 1.37 分，且稳定支持 4-bit 与 3-bit 量化。
本事件热度走势
当前热度 6·可比范围峰值 10（11月2日 14:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。