DRMoET：分布鲁棒的混合专家（MoE）训练方法

研究团队提出即插即用的 MoE 训练目标 DRMoET，通过优化高损失路由结果并强化潜在的非首选路由路径，解决专家路由失误引发的可靠性问题。在 FLAME-MoE 架构的 10.3B 参数与 67B 训练 token 规模下，DRMoET 将 7 项任务平均分从 0.6625 提升至 0.6767，并在强制错误路由测试中降低 4.3% 的超额损失。相关代码已开源。