arXiv stat.ML· Jihwan Kim, Dogyoon Song, Chulhee Yun·· 25 天前AI 评分34
从几何到泛化:为什么行归一化能击败 Adam 和 Muon
From Geometry to Generalization: Why Row Normalization Can Beat Adam and Muon
AI 导读
行归一化在高维多分类任务中可取得严格优于全批次 Adam 与精确 SVD Muon 的总体准确率。该优势源于行归一化的类别级欧氏几何在渐近意义下能保留总体决策边界方向,而 Adam 的坐标级几何与 Muon 的谱几何会引入不可消除的失真。合成数据及语言模型最后一层实验均支持了这一理论预测。
来源:arXiv stat.ML · arxiv.org