内部优化器如何影响大模型分布式训练中的副本扩展性

研究人员探讨了 DiLoco 等跨数据中心大语言模型训练中内部优化器对副本扩展性的影响，指出伪梯度的协方差结构以及批大小对伪梯度噪声尺度的影响是决定扩展性能的两个关键因素。基于白化的预条件处理被证明是内部优化器的关键特性。实验表明，基于白化的内部优化器在 8 到 96 个副本下均实现了强大的扩展性能，且随着参数与数据的扩展，其相较于数据并行的表现进一步提升。