arXiv stat.ML· Zijun Chen, Zihan Zhang·· 19 天前AI 评分27
随机洗牌随机梯度下降（RR-SGD）的大步长最后迭代收敛性
Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent
AI 导读
针对凸且 L-光滑分量的无约束有限和优化问题，该研究建立了标准随机洗牌随机梯度下降（RR-SGD）最后迭代的期望目标差距界。在常数步长满足 $0<\eta\lesssim 1/(L(1 + \log(nK)))$ 条件下，该方法通过在随机比较点保留采样偏差，成功消除了步长限制中显式的 $1/n$ 因子。结合现有小步长界，该结果在对数因子范围内匹配了对应的平均迭代收敛率。
来源：arXiv stat.ML · arxiv.org