大语言模型语言习得中的形态、语义与分歧演进追踪

研究人员通过开源模型 Pythia 和 OLMo 的中间检查点，系统探索了大语言模型在训练过程中的语言习得动态。实验表明，模型习得形态结构的时间远早于语义嵌入向量的稳定期。此外，训练数据集规模对分歧识别具有积极影响，而预训练期间的共现和推理期间的重复则会对分歧识别及联想链接生成产生负面作用。