自然梯度下降有多低效？从精确最优到 \Theta(\sqrt{\log d}) 发散

一项研究量化了自然梯度下降（NGD）对比 Fisher-Rao 最短路径的低效比率 R，证明在每步 Fisher 弦长预算下，NGD 渐近所需步数至少为后者的 R 倍。理论与实验表明，二次势函数或一维分布下 R=1 达到精确最优，而尺度族乘积中 R 会随参数维度 d 以 \Theta(\sqrt{\log d}) 发散，并在高维测试中达到 R \approx 1.5。