双层线性网络中的静默对齐：高维视角

研究人员在高维极限下分析了双层线性网络的梯度流，推导出权重矩阵在任意时刻的渐近谱分布。在小初始化极限下，网络表现出「静默对齐」现象：奇异方向在常数阶时间尺度内完成对齐，而奇异值和经验损失仍维持初始值不变。随后在对数时间尺度上，奇异值逐渐脱离零并带动损失下降，呈现出鞍点到鞍点的连续谱学习动态。