arXiv stat.ML· Mansour Zoubeirou a Mayaki·· 12 天前AI 评分37
MoE Transformer 的泛化与缩放定律研究
Generalization and Scaling Laws for Mixture-of-Experts Transformers
AI 导读
研究者提出了针对 MoE Transformer 的泛化与缩放理论，将每个输入的激活容量与路由组合机制有效解耦。通过推导覆盖数界并结合经验风险最小化（ERM）分析，证明其逼近与估计误差权衡在计入激活参数后与稠密网络一致，并证明误差可通过扩展激活容量或增加专家数量来降低。该研究据此推导出了涵盖模型规模、数据量及计算最优权衡的神经缩放定律。
来源：arXiv stat.ML · arxiv.org