arXiv cs.LG· Yushuai Sun, Zikun Zhou, Lin Gao, Jun Yu, Wenjie Pei·· 2026-10-03AI 评分34
MoRA：基于路由器偏置学习与专家近似的 MoE 剪枝框架
MoRA: MoE Pruning via Router Bias Learning and Expert Approximation
AI 导读
MoE 结构化剪枝框架 MoRA 正式提出，该方法通过学习路由器偏置筛选关键且具多样性的专家，并在剪枝后利用剩余专家的仿射变换近似被剪专家的输出。在 Qwen3-30B-A3B、DeepSeek-V2-Lite 和 Moonlight-16B-A3B 剪除 25% 与 50% 路由专家的测试中，MoRA 在 9 个零样本基准上均超越现有 SOTA 算法，代码将开源。
来源：arXiv cs.LG · arxiv.org