arXiv cs.LG· Shikhar Shiromani·· 4 天前AI 评分47
权重更新带来了什么：跨大语言模型训练阶段的 Leverage 分析
What a Weight Update Buys: Leverage Across Training Stages
AI 导读
研究提出 Leverage 指标衡量单位权重更新的收益，发现模型不同训练阶段的更新效能跨越四个数量级。Olmo-3 和 Tülu-3 等测试显示，预训练效能处于随机水平，SFT 为随机水平 5 倍，RLVR 为 400-1,500，DPO 则达 400-23,000。若缺少 fp32 主副本，bf16 训练会冻结 36-99% 坐标并将 Leverage 降低多达 7 倍。
来源：arXiv cs.LG · arxiv.org