为什么自适应优化器会低估罕见 token

研究表明 Adam、RMSProp 等逐坐标自适应优化器因梯度归一化失衡，会系统性低估罕见 token 的概率并偏移训练不动点。相比之下，SGD、AMSGrad 以及 Shampoo、Muon 等方法能保持无偏；论文针对 RMSProp 等推导出了闭式解公式。语言模型测试显示，罕见 token 随机出现时偏差更大，导致这类优化器对生成分布的拟合表现更差。