深度线性网络中增加深度可改善困难任务的训练时间缩放

最新理论研究通过对深度线性网络的分析表明，任务谱决定了网络深度对训练时间缩放的影响，增加深度能提升谱困难任务的渐进训练时间缩放指数，而简单任务的指数与深度无关。研究进一步提出由预测器范数主导的时间重参数化，可统一描述不同难度下的动态，且重参数化后的损失缩放指数与深度无关。基于基准图像数据和非线性网络的数值实验也呈现了一致的定性结果。