自适应批大小为何有助于 LLM 预训练：从无界方差视角

研究提出了广义 BG-$a$ 噪声模型与自适应批调度器，从理论上揭示了动态调整 batch size 控制方差增长对大语言模型预训练的优化机制。在 C4 数据集预训练最高 1B 参数 OLMo2 模型的实验中，该调度器在相同 token 预算下取得了低于固定小 batch 与大 batch 训练的验证损失，同时迭代步数不足小 batch 训练的 10%。