arXiv cs.LG· Zachary Broveak, Christian Kubicka, Thierry Tambe·· 19 天前AI 评分35
Spectral-MoE：Dense-to-MoE 转换中各层异构专家利用率优化
Spectral-MoE: Heterogeneous Per-Layer Expert Utilization in Dense-to-MoE Conversion
AI 导读
研究人员提出 Spectral-MoE，通过静态逐层标量和动态逐 token 调度两种方案，在 Dense-to-MoE 转换中跨网络层异构分配专家利用率预算。
来源：arXiv cs.LG · arxiv.org