Spectrally Targeted Muon 优化器

研究团队提出 Spectrally Targeted Muon 优化器，通过设定奇异值阈值 $\tau$ 选择性正交化，在归一化 SGD 与 Muon 之间插值。该方法利用移位 Gram 矩阵上的 Newton-Schulz 迭代投影且无需 SVD 计算。在 CIFAR-10 与 NanoGPT 上的测试表明，动量的小奇异值并非噪声，Muon 的优势正是放大了原本过小而无法有效训练的方向。