arXiv cs.AI· Yaoxiang Wang, Kai Zhang, Ruobing Xie, Lanrui Wang, Guoliang Zhao, Junhui Li, Jinsong Su·· 19 天前AI 评分33
构建 LatentMoE：从专家几何结构到分层容量分配
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
AI 导读
LatentMoE 研究揭示了专家几何结构与分层容量分配的设计规律，通过平衡输入维度与中间宽度构建接近正方形的专家，可最大化局部雅可比秩上限。研究进一步利用层级内在维度（ID）指导跨深度容量分配，在保持每层参数量、激活 FLOPs 和通信量恒定下协同调整专家数量与形状。相比层均质基线，该方法取得了更低的验证损失与更强的下游表现。
来源：arXiv cs.AI · arxiv.org