双 ReLU 神经元上的梯度下降：全局地形与分岔动力学

一项针对双神经元 ReLU 教师-学生模型的研究揭示，梯度流的特征学习动力学由主导信号的平分线方向与负责专门化的分裂方向主导。理论分析证明，该模型总体平方损失中非零权重的临界点仅存在全局极小值与鞍点。从小初始化训练时，学生神经元会先向平分线鞍点塌缩，随后逃逸并专门化对齐教师神经元，呈现出多阶段对称性破缺。