arXiv cs.LG· Ethan Baron, Shmuel Berman, Anirudh Satheesh, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson·· 4 天前AI 评分35
利用超参数迁移与模型集成改进数据受限缩放
Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling
AI 导读
研究提出结合超参数迁移幂律与集成缩放法则的方案，解决了大语言模型在数据受限缩放下超参数固定与忽视集成的局限。在 FineWeb 的 100M tokens 上训练，该方案比以往方法降低验证损失超 0.15 nats，困惑度降低 14%，并通过集成实现了性能单调提升。相关规则从小规模运行中拟合，并在高达 12 倍算力预算下完成验证。
来源：arXiv cs.LG · arxiv.org