arXiv cs.AI· Xiangjing An, Zhibin Jiao, Aiting Chen·· 7 天前AI 评分38
大模型全阶段训练综合框架：从数据与分词、预训练到后训练对齐
A Comprehensive Framework for All Stages of Large-Model Training: From Data and Tokenization, through Pretraining, to Post-Training Alignment
AI 导读
该研究提出了涵盖大模型全阶段训练的统一划分与六维分析框架，系统梳理从数据、分词、预训练到后训练对齐的完整流程与跨阶段效应。论文系统综述了 395 篇核心文献，指出 Scaling Law 的可比性取决于数据质量与配比，RLHF 与 DPO 等偏好对齐重塑了后训练边界，且多模态训练对纯文本范式构成了结构性挑战。
来源：arXiv cs.AI · arxiv.org