Adam 距离自然梯度下降究竟有多远？

研究评估发现，优化器 Adam 与自然梯度下降（NGD）的几何偏差高度依赖场景，在小型神经网络中未对齐程度可达约 $10^3$。虽然高几何漂移会减慢初始优化速度，但 Adam 仍能一致收敛至低损失，且改进经验 Fisher（iEF）比标准 EF 路径更稳定。结果表明，Adam 的实用优化表现源于结构近似误差与动量平滑的平衡，而非紧随自然梯度路径。