arXiv cs.LG· Xianghao Wang, Johan Barth\'elemy, John Taylor·· 15 天前AI 评分35
面向深度学习的可扩展 Levenberg-Marquardt 训练框架
Scalable Levenberg-Marquardt Training Framework for Deep Learning
AI 导读
研究人员提出多 GPU 分布式算法 LeMA，通过精确对偶形式与雅可比分片策略，将 Levenberg-Marquardt 算法的显存开销从参数量的二次方降至批大小的二次方。该方法无需 PCG 近似即可对十亿参数模型执行精确求解。在 8-GPU 节点上训练超过 10 亿参数的卷积神经网络时，LeMA 相比单 GPU 实现了 7.97x 加速比与 99.7% 的强扩展效率。
来源：arXiv cs.LG · arxiv.org