佛之觉醒：总体损失平原期间的子空间学习

研究证明神经网络在总体损失几乎保持不变的平原期，仍能学习到显著更具预测性的特征表征。针对两层 ReLU 和 leaky-ReLU 网络，模型在损失平原检查点的 AGOP 主特征空间对齐度相对初始化提升至少 1/2，重拟合 MSE 降低超 0.399。该结论还拓展至 SwiGLU 网络，并在 21 个 teacher 模型、每模型 50 次初始化的实验中得到验证。