Decoupled DiLoCo：高韧性分布式 AI 训练的新前沿

Google DeepMind 提出分布式训练架构 Decoupled DiLoCo，通过异步计算孤岛实现低带宽、高容错的跨数据中心大语言模型训练。团队在跨美国 4 个区域、仅 2-5 Gbps 广域网带宽下成功预训练 12B 参数模型，速度比传统同步方法快 20 倍以上，并在 Gemma 4 测试中保持了同等基准性能。