arXiv cs.LG· Carson Cary, Yukai Jin, Yihao Huang, Zhankai Ye, Fangyi Li, Ting Hua, Xin Liu, Shangqian Gao·· 7 天前AI 评分39
GS-MoE：基于分组子空间共享与剪枝的免训练 MoE 压缩
GS-MoE: Training-Free MoE Compression via Groupwise Subspace Sharing and Pruning
AI 导读
研究人员提出免训练 MoE 压缩框架 GS-MoE，通过分组共享低秩子空间与基于 Nyström 的神经元剪枝压缩专家参数。在 DeepSeek-MoE-16B-Base 上减少 60% 模型总参数时，GS-MoE 保留了约 90% 的平均推理性能（D^2-MoE 为 73%），且域外困惑度低 20%。该框架还采用无梯度的层重要性评分进行分层预算分配，相关代码已开源。
来源：arXiv cs.LG · arxiv.org