arXiv stat.ML· Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal·· 8 天前AI 评分34
基于随机李雅普诺夫稳定性的大步长 SGD 交叉熵损失收敛性研究
Convergence of Large-Stepsize SGD for the Cross-entropy Loss via Stochastic Lyapunov Stability
AI 导读
该研究通过随机李雅普诺夫稳定性，为大步长 SGD 在多分类交叉熵损失下的线性分类器和双层神经网络提供了收敛保证。分析显示 SGD 随机性会使训练在曲率振荡的稳定边缘与受控下降状态间交替，但能确保迭代在固定步数内重归稳定。这证明了即便使用大学习率也能在最优迭代（best-iterate）意义下收敛，实验同时验证了大步长 SGD 的优势。
来源：arXiv stat.ML · arxiv.org