跳到正文
原文
arXiv stat.ML· Thomas Dybdahl Ahle, Yaroslav Bulatov, Christopher De Sa, Christopher R\'e·· 2026-09-30AI 评分34

幂律谱下的随机优化:紧确界与洗牌分析

Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis

AI 导读

研究人员将幂律谱条件理论推广至高维机器学习中的随机梯度下降(SGD),证明相同的谱指数支配着随机优化动力学。针对各向同性高斯数据,研究通过推导精确常数证明 Single Shuffle 洗牌策略严格优于 Flip-Flop 与 IID 采样。该成果打通了抽象谱理论与实际随机训练选择之间的鸿沟,揭示了数据几何对优化速度的驱动机制。

来源:arXiv stat.ML · arxiv.org