arXiv cs.LG· Xinyu Zhao, Davis Wertheimer, Ashutosh Sharma, Rameswar Panda, Paul Pu Liang·· 15 天前AI 评分40
大语言模型跨训练阶段更换优化器的暂态代价研究
The Ephemeral Cost of Switching Optimizers Across LLM Training Stages
AI 导读
研究发现大语言模型在预训练与后续阶段更换优化器几乎不存在显著的失配性能惩罚，后训练优化器的选择很大程度上可独立于预训练阶段。实验通过从头预训练 1.2B Llama-3 并测试 AdamW 与 Muon 切换，发现 SFT 中 Muon 更新比例越高下游性能普遍越好，且在高达 14B 的 Llama 和千问（Qwen）开源模型 SFT 中，Muon 相比 AdamW 仍保持竞争力。
来源：arXiv cs.LG · arxiv.org