arXiv cs.LG· Shenyang Deng, Garvit Goyal, Tianyu Pang, Shuhua Yu, Yaoqing Yang·· 12 天前AI 评分35
正交化如何适应神经网络 Hessian 结构？基于初始化的梯度自外积分析
How Does Orthogonalization Adapt to the Neural Network Hessian Structure? A Gradient Self Outer-Product Analysis at Initialization
AI 导读
新理论针对 Muon 优化器在神经网络中优于 AdamW 的机制，从初始化阶段揭示权重矩阵的过度参数化会驱动动量外积呈现对角占优，从而使隐式预条件器适配 Hessian 的行块结构。研究在对称矩阵分解、深度线性网络、双层 ReLU 网络与单层线性注意力四种模型中推导出显式增长速率，并通过语言模型实验验证了该缩放规律。
来源：arXiv cs.LG · arxiv.org