arXiv stat.ML· Jiaqi Li, Zhipeng Lou, Stefan Richter, Wei Biao Wu·· 18 天前AI 评分32
随机梯度下降（SGD）：非线性时间序列视角
Stochastic Gradient Descent: A Nonlinear Time Series Perspective
AI 导读
研究者从迭代随机函数框架出发，探讨了常数步长随机梯度下降（SGD）的统计学性质。通过证明 SGD 的几何矩收缩（GMC），该研究直接在欧几里得距离下建立了收敛性，并证明了平均 SGD（ASGD）在任意初始化下的淬火中心极限定理与 $\alpha$-稳定收敛。此外，研究还利用多步长增强 Richardson-Romberg 外推法降低估计偏差，并提出了新的在线推理方法。
来源：arXiv stat.ML · arxiv.org