arXiv stat.ML· Yanyang Xiao·· 18 天前AI 评分28
浅层神经网络为何优先学习正弦分量：基于正交多项式动力学框架的解释
Why Shallow Neural Networks Learn Sinusoidal Components First: An Orthogonal Polynomial Dynamics Framework
AI 导读
研究人员提出了基于正交多项式的动力学分析框架，从理论上解释浅层神经网络为何存在优先学习低频正弦分量的谱偏置（F-principle）。该研究将网络输出在正交多项式基下展开为广义傅里叶级数（GFS），并将 GFS 系数的梯度下降动力学建模为常微分方程。通过分析动力学矩阵 H 的特征值衰减与分级结构，该框架可推广至 sigmoid 和 ReLU 等通用激活函数，并避免有限域傅里叶分析中的混叠效应。
来源：arXiv stat.ML · arxiv.org