大型残差网络的早期学习动态研究

大型非线性残差网络在高输入维度极限下的早期训练中仅能学习输入的线性函数，更高阶的单项式特征会被严重抑制并在极限状态下完全消失。该研究通过图解法解析了梯度下降数步后的网络输出与隐藏表示，指出 ResNet 的平均场极限可能过于僵化而不足以解释特征学习机制，同时推导并数值验证了学习率在不同数据规模和输入维度下的超参数迁移表现。