热点事件历史事件
研究揭示LLM训练损失激增机制并提出优化方案
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年10月30日，arXiv cs.LG发布的一项研究揭示了大语言模型预训练后期致命损失激增（time-bomb spikes）的形成机制。研究指出，该不稳定现象由LM head中快速增长的量化误差所引发，且降低数值精度会进一步加速这一过程。为解决该问题，研究提出在LM head上将常用的AdamW优化器替换为带动量的SGD，以此有效抑制logit增长，并通过减少有限精度误差显著提升模型长周期预训练的稳定性。
AI 根据报道生成 · 3 天前更新
最新进展10月30日 12:00
研究发现LM head量化误差导致训练损失激增，改用动量SGD可提升稳定性。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv cs.LG量化在语言模型预训练损失激增中的作用
大语言模型预训练后期的致命损失激增（time-bomb spikes）由 LM head 中快速增长的量化误差引发，降低数值精度会加速该不稳定现象。在 LM head 上将 AdamW 优化器替换为带动量的 SGD，可有效抑制 logit 增长，进而通过减少有限精度误差显著提升长周期预训练的稳定性。
本事件热度走势
当前热度 3·可比范围峰值 7（10月31日 02:00）·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。