跳到正文
原文
arXiv stat.ML· Ahanaf Hasan Ariq, Davide Wiest·· 8 天前AI 评分28

级联梯度法中的瞬态放大:精确 Minimax 定律与无共振跟踪

Transient Amplification in Cascaded Gradient Methods: Exact Minimax Laws and Tracking without Resonance

AI 导读

针对双层与双时间尺度优化中级联梯度迭代的有限时间大幅波动问题,研究证明了精确且与维度无关的 Minimax 瞬态放大公式。在对角块范数至多为 gamma、耦合范数至多为 c 时,最坏瞬态放大阶数为 1 + c/(1-gamma),且在鞅噪声下跟随者方差具有三次反谱隙缩放特征。此外,提出的前瞻 Newton 更新可消除跟随者记忆,在线性跟踪更新中达到 Minimax 最优。

来源:arXiv stat.ML · arxiv.org