arXiv stat.ML· Jia-Nan Wang, Zixun Huang, Kairui Li, Zilin Wang, Lei Wu·· 8 天前AI 评分35
大批量训练中的动量：Polyak 扩大临界批量，Nesterov 提升数据效率
Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency
AI 导读
研究表明，大批量训练中 Polyak 动量能扩大临界批量以支持更高并行度且不牺牲数据效率，而 Nesterov 动量通过前瞻机制抑制噪声积累，在大批量机制下实现更高的数据效率。该研究在单遍训练与幂律核回归设定下推导了临界学习率与全风险动态标度律，并给出了揭示动量角色变化的三区域批量相图。
来源：arXiv stat.ML · arxiv.org