热点事件历史事件
研究提出结合超参迁移与集成的语言模型数据受限缩放方案
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年10月30日，arXiv公布的一项研究提出了结合超参数迁移幂律与集成缩放法则的新方案，旨在解决大语言模型在数据受限缩放场景下超参数固定以及忽视模型集成的局限。实验结果显示，在FineWeb的100M tokens数据集上进行训练时，该方案相比以往方法可将验证损失降低超0.15 nats，困惑度降低14%，并借助模型集成实现了性能的单调提升。研究表明，相关规则从小规模运行中拟合得出，并在高达12倍的算力预算下完成了有效性验证。
AI 根据报道生成 · 3 天前更新
最新进展10月30日 12:00
研究提出结合超参迁移与集成的方案，显著提升数据受限下的模型缩放表现。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv cs.LG利用超参数迁移与模型集成改进数据受限缩放
研究提出结合超参数迁移幂律与集成缩放法则的方案，解决了大语言模型在数据受限缩放下超参数固定与忽视集成的局限。在 FineWeb 的 100M tokens 上训练，该方案比以往方法降低验证损失超 0.15 nats，困惑度降低 14%，并通过集成实现了性能单调提升。相关规则从小规模运行中拟合，并在高达 12 倍算力预算下完成验证。
本事件热度走势
当前热度 3·可比范围峰值 7（10月31日 02:00）·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。