超越困惑度：抽象预训练对语言模型的持久影响

新研究发现，在小型语言模型预训练初期仅将 1% 的 token 用于抽象堆栈操作任务，即可在模型困惑度相当的情况下，将 MUSIQUE 多跳问答 F1 最高提升 3.9 分，同时改善 HOTPOTQA 和 2WIKIMULTIHOPQA 表现。该热身训练显著加速了深层顺序推理链的习得，且该优势能在后续数十亿自然语言 token 训练中持续保持。