arXiv cs.AI· Tian Wang, Yongding Tao, Yihong Dong, Xiaoming Wu, Ying Guo, Ge Li·· 1 天前AI 评分35
面向 MoE 大语言模型的结构保持专家剪枝方法研究
Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models
AI 导读
研究提出面向 MoE 大语言模型的 PEEP 与 DCEP 结构保持专家剪枝方法，通过贪心策略消除专家输出的结构化冗余。该框架结合路由权重先验，分别利用最大化投影能量与最小化覆盖误差兼顾全局结构与单个专家的重要性。在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上，在 75% 与 50% 专家保留率下，其通用及数学推理性能均优于 SOTA 基线。
来源：arXiv cs.AI · arxiv.org