arXiv cs.LG· Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait·· 16 小时前AI 评分36
训练无关 MoE 专家剪枝中的替换算子与路由语义研究
What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning
AI 导读
新研究系统评估了训练无关 MoE 专家剪枝中的替换算子与路由语义，发现在 OLMoE 等模型上误用门控重新归一化会导致 0.8-8.5 分损失。研究提出的闭式低秩映射算子 tilted novice 在 50% 剪枝率下仅增加 1.2-1.8% 参数，在 OLMoE 和 Moonlight 上比常量替换提升 3.45 和 1.37 分，且稳定支持 4-bit 与 3-bit 量化。
来源：arXiv cs.LG · arxiv.org