Muon 是否需要细粒度谱整形？

新研究提出 BulkBoost 双频带谱重加权框架，证明优化器 Muon 无需复杂的细粒度谱映射，仅靠单一增益提升主体模态权重即可优化训练。在覆盖 Pythia-14M 至 410M 的 30 个持续预训练设置中，相比 Muon 的基线更新，该两频带变体将最终损失降低了 0.073%–0.147%，优于细粒度方法 Freon 的 0.022%。