arXiv stat.ML· Zijian Liu·· 18 天前AI 评分27
论梯度裁剪方法的末迭代收敛性
On the Last-Iterate Convergence of Clipped Gradient Methods
AI 导读
研究人员首次证明了 Clipped-SGD 在重尾噪声环境下以高概率成立的最优末迭代收敛速率，填补了该领域的理论空白。传统 SGD 在重尾噪声下面临发散或表现不佳的问题，而结合了梯度裁剪的 Clipped-SGD 虽在实践中表现良好，其末迭代收敛性质此前却缺乏充分研究。
来源：arXiv stat.ML · arxiv.org