卷积神经网络中局部性与权重共享的作用

一项理论研究解构了卷积神经网络中局部性与权重共享的作用机制，发现在无空间相关输入下卷积架构的学习速度比局部连接精确快 $P$ 倍。局部性直接决定样本复杂度，核尺寸匹配时仅需 $\mathcal{O}_{D}(D)$ 样本，核过大则增至 $\mathcal{O}_{D}(D\log(D))$。空间相关性会削弱权重共享优势，在按训练时长调整学习率时，局部连接网络在早期占优，卷积网络则在后期胜出。