深度神经网络在有限宽度下的混沌边缘漂移

研究揭示了深度神经网络在有限宽度下“混沌边缘”向更大权重方差移动的规律，并提出免搜索的初始化规则 Crinit。该研究通过将输入距离对数建模为随机游走计算出 1/N 阶漂移，解释了此前理论与模拟的分歧，反向传播梯度亦同样适用。在 MNIST 和 Fashion-MNIST 宽度 64 测试中，Crinit 在深层网络中优于多数失效的常规规则，且训练步数更少。