最佳优化器取决于 Batch Size

研究表明，即使经过充分的超参数调优，语言模型预训练的最佳优化器也会随 batch size 的改变而变化。针对当前自适应优化器通常仅在单一 batch size 下评测的现状，研究指出超参数缩放法则无法在批次规模变化时保证性能一致。实测显示，新型优化器 Muon 不存在能在各类训练设置下均一致生效的原则性缩放法则。