二阶矩随机逼近方法

该研究探讨了同时利用一阶矩与二阶矩估计量的二阶矩随机逼近方法，涵盖 Adam 和 Muon 等深度学习优化器特例。该方法基于求解矩阵方程的最优预条件推导，并通过两阶段分析框架结合 Dvoretzky 定理证明其几乎必然收敛至目标解邻域。论文还给出了收敛邻域半径与矩估计量偏差及方差的依赖关系，并推导出 Muon 与 Adam 谱变体的具体界。