广延宽度神经网络的介观学习动力学

一项新研究针对网络宽度与输入维度成比例增长的两层神经网络，提出了基于重叠分布的介观学习动力学分析框架。在训练初期，高斯统计描述将动力学简化为追踪目标函数线性和二次分量的少数集体变量，随后通过过滤梯度波动的二次屏蔽机制加速单个特征的特化。该工作阐明了激活函数对特化模式的影响，揭示了网络从集体学习向个体特征发现转变的物理机制。