研究揭示有限宽度混沌漂移并提出初始化规则Crinit

2026年11月5日，arXiv发表的研究揭示了深度神经网络在有限宽度下“混沌边缘”向更大权重方差移动的规律，并据此提出了免搜索的初始化规则 Crinit。该研究通过将输入距离对数建模为随机游走，计算出 1/N 阶漂移，解释了此前理论与模拟之间的分歧，同时证实反向传播梯度亦同样适用此规律。在 MNIST 与 Fashion-MNIST 数据集（网络宽度为 64）的测试中，常规初始化规则在深层网络中多数失效，而 Crinit 表现更优且所需的训练步数更少。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。