高维稀疏更新下随机动量的动力学分析

一项理论研究分析了稀疏更新下随机动量的动力学行为，推导了稀疏输入最小二乘与罕见类别逻辑回归两个模型的高维极限闭式二阶矩动态。其相结构由动量保留与学习两个时间尺度的比值决定：学习远慢于保留时趋近 SGD，学习更快时系统不稳定，二者吻合时则恢复经典重球动力学。不同 token 稀疏度会导致振荡动量值不同，从而在不同 token 频率间引发全局动量的谱冲突。