arXiv cs.AI· Jiaming Hu, Zhida Jiang, Zhaolong Xing, Yu Li, Zhen Chen, Ke Zhang·· 3 天前AI 评分35
LRMoE：面向显存受限节点的高效 MoE 训练需求端负载重校准
LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes
AI 导读
LRMoE 是一种显存感知的 MoE 训练系统，通过在前向规划保留配额并在反向传播时重校准负载需求，解决显存受限节点的计算与通信瓶颈。系统通过容量感知路由与物理压缩减小通信载荷，有效降低反向通信、计算量和缓冲区显存开销。
来源：arXiv cs.AI · arxiv.org