arXiv cs.LG· Jiazheng Li, Huaqing Zhang, Jing Xu, Tianle Cai, Jingzhao Zhang·· 7 天前AI 评分38
超越数据调度：基于损失重加权的 LLM 混合数据快速预训练
Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting
AI 导读
研究者提出 LARE 方法，通过运行损失统计自动调整领域权重，在固定数据采样暴露量下优化 LLM 混合数据预训练。在 240B tokens 训练的 1.5B 模型上，该方法使知识、数学和代码领域的 5 项评测基准较直接混合平均提升 +7.84 pp，其中 GSM8K 和 MATH 分别提高 +17.06 pp 与 +9.00 pp。
来源：arXiv cs.LG · arxiv.org