无穷方差梯度下非线性 SGD 的精确尾部法则

针对具有无穷方差梯度噪声的非线性常步长 SGD，最新研究通过精确一阶尾部概率刻画了最后一次迭代的精度。在正则变化指数 $t\in(1,2)$ 的设定下，主测度通过局部 Hessian 流传递单次大梯度冲击，并在固定 batch size $b$ 时引入 $b^{1-t}$ 因子。该结论给出了显式的投影与超额目标尾部及极端分位数，并在 1 到 100 维的模拟中验证了校准度与 batch 效应。