理解随机伪梯度上外层 Nesterov 动量的稳定性

研究人员分析了分布式训练中外层 Nesterov 动量、本地步数及多节点平均对训练动态和稳定性的控制机制。针对随机二次问题，论文推导出了任意维度下的精确均方稳定性判据，揭示内部 batch size 决定了增加本地步数最终会稳定还是破坏外层迭代。研究还发现维持稳定性所需的节点数可能随本地步数呈指数增长，并提出可通过共享 mini-batch 扰动在神经网络检查点处直接探测均方动态。