arXiv cs.LG· Zaiqian Chen, Aditya Somasundaram, Sophie Li, Sean McLeish, John Kirchenbauer, Tom Goldstein, Micah Goldblum·· 4 天前AI 评分45
量化在语言模型预训练损失激增中的作用
The Role of Quantization in Loss Spikes
AI 导读
大语言模型预训练后期的致命损失激增（time-bomb spikes）由 LM head 中快速增长的量化误差引发，降低数值精度会加速该不稳定现象。在 LM head 上将 AdamW 优化器替换为带动量的 SGD，可有效抑制 logit 增长，进而通过减少有限精度误差显著提升长周期预训练的稳定性。
来源：arXiv cs.LG · arxiv.org