从随机特征到全可训练神经网络的相变现象研究

该研究量化了部分可训练神经网络从固定随机特征到完全自适应表示过程中的相变模式，表现为逼近界与训练误差呈现出先快速改善后收益递减的趋势。针对宽度为 m 且可训练比例为 P 的两层网络，研究证明了其平方 L2 逼近率可达 $\mathcal{O}((\kappa_P\log(m/\delta)/m)^\alpha)$。