跳到正文
原文
arXiv stat.ML· Zhou Fan, Leda Wang·· 11 天前AI 评分31

多指标模型中多轮次 SGD 的高维学习动态研究

High-dimensional learning dynamics of multi-pass Stochastic Gradient Descent in multi-index models

AI 导读

针对样本量与维度成比例增长的高维非凸多指标模型,研究建立了多轮次 SGD 学习动态的渐近精确表征。在次线性批大小 $\kappa \asymp n^\alpha$($\alpha \in [0,1)$)与临界学习率下,SGD 坐标动态收敛至由标量泊松跳跃过程驱动的动态平均场方程连续时间极限。

来源:arXiv stat.ML · arxiv.org