线性残差网络在训练期间宽度与深度极限可交换

线性残差网络在采用 $1/\sqrt{depth}$ 残差分支缩放（Depth-$\mu$P）与 $\mu$P 宽度参数化时，其无限宽度与无限深度极限在有限步训练中可交换。在带有梯度裁剪的固定步数梯度下降下，当宽度和深度趋于无穷时，网络输出沿所有联合增长路径在 $L^2$ 意义下收敛。若不使用梯度裁剪，通常不满足 $L^2$ 收敛，但仍能成立较弱的依概率收敛。