热点事件历史事件
研究提出衡量权重更新收益的Leverage指标
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年10月30日，arXiv发布的一篇研究论文提出了名为“Leverage”的新指标，用于衡量大语言模型在单位权重更新下所获得的收益。研究人员在Olmo-3和Tülu-3等模型上进行测试，发现模型不同训练阶段的更新效能跨越了四个数量级：其中预训练阶段的效能仅处于随机水平，SFT（监督微调）阶段为随机水平的5倍，RLVR阶段达400至1,500倍，而DPO阶段效能则高达400至23,000倍。此外，研究还发现若缺少fp32主副本，使用bf16训练会导致36%至99%的坐标冻结，并将Leverage效能降低多达7倍。
AI 根据报道生成 · 3 天前更新
最新进展10月30日 12:00
研究提出Leverage指标以量化权重更新收益，发现对齐阶段效能远超预训练。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv cs.LG权重更新带来了什么：跨大语言模型训练阶段的 Leverage 分析
研究提出 Leverage 指标衡量单位权重更新的收益，发现模型不同训练阶段的更新效能跨越四个数量级。Olmo-3 和 Tülu-3 等测试显示，预训练效能处于随机水平，SFT 为随机水平 5 倍，RLVR 为 400-1,500，DPO 则达 400-23,000。若缺少 fp32 主副本，bf16 训练会冻结 36-99% 坐标并将 Leverage 降低多达 7 倍。
本事件热度走势
当前热度 3·可比范围峰值 7（10月31日 02:00）·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。