arXiv cs.LG· Xiaoran Chen, Binghui Li, Liwei Wang, Pinyan Lu·· 7 天前AI 评分43
Muon 何时及如何进行预处理？结构化梯度噪声的作用
When and How Does Muon Precondition? The Role of Structured Gradient Noise
AI 导读
研究揭示了 Muon 优化器在大语言模型训练中的预处理机制，指出其加速优势源于非均匀采样下的结构化梯度噪声，而非传统各向同性噪声。理论表明 Muon 能将对任务频率的依赖从线性降至平方根，有效平衡高频与稀疏任务，并避免 SignSGD 的旋转诱导负迁移。受控数值实验与初步 LLM 预训练进一步展现了快慢动量（fast-slow momentum）的应用潜力。
来源：arXiv cs.LG · arxiv.org