arXiv cs.LG· Egor Shulgin, Sam Laing, Antonio Orvieto, Peter Richt\'arik·· 11 天前AI 评分46
从二次型视角看 Muon 的极分解更新：优势、陷阱与 Newton-Schulz 的作用
A Quadratic Lens on Muon's Polar Update: Benefits, Pitfalls, and the Role of Newton-Schulz
AI 导读
研究人员通过矩阵二次型理论分析了优化器 Muon 核心的正交化更新 PolarGD，揭示了其训练大语言模型优于 AdamW 的机理与潜在瓶颈。分析表明，PolarGD 的收敛速度取决于当前迭代矩阵的条件数而非 Hessian 矩阵，但极小的奇异值会导致其速度远慢于梯度下降。Muon 采用的少数次 Newton-Schulz 迭代恰好缓解了微小奇异值的负面影响，收敛速度甚至快于精确正交化。
来源：arXiv cs.LG · arxiv.org