arXiv stat.ML· Donghyun Jeong, Yoon-Yeong Kim·· 12 天前AI 评分33
GaP-MoE：基于正交梯度累积与投影实现 MoE 专家显式专业化
GaP-MoE : Explicit Expert Specialization in Mixture-of-Experts via Orthogonal Gradient Accumulation and Projection
AI 导读
研究者提出 GaP-MoE 方法，通过直接操作专家输出梯度而非修改损失函数，来解决稀疏混合专家（SMoE）模型中的表征崩塌问题。该方法在训练时随机选出一个 Leader 专家，并将其余 Follower 专家的梯度投影至与其正交的子空间，以此消除梯度方向重叠。
来源：arXiv stat.ML · arxiv.org