arXiv cs.AI· Han Wang, Zhitao Wang, Natalia Frumkin, Xuanwu Yin, Alireza Khodamoradi, Dong Li, Emad Barsoum·· 8 天前AI 评分37
在 MXFP4 下训练 MoE LLM：如何缩小与 BF16 的差距
Training an MoE LLM in MXFP4: How We Closed the Gap to BF16
AI 导读
开源方案 ALTO 结合随机阿达马变换、随机舍入及权重去振荡技术，在 MXFP4 格式下训练 20B 参数的 MoE 模型 GPT-OSS-20B。在 C4 验证集上，该方案在 16,128 步时验证损失达 3.3350，仅比 BF16 基线高 0.007，弥补了约 50% 的差距。达到 MLPerf 质量目标时，去振荡将 FP4 相对 BF16 的收敛步数开销从 +20.0% 降至 +5.0%。
来源：arXiv cs.AI · arxiv.org