可解主题模型中的学习理论：上下文学习先于专业化出现

一项新研究通过可解主题模型提出了序列模型的学习理论，解释了上下文预测器与专业化预测器在不同样本复杂度下的竞争机制。理论表明上下文预测器在训练早期就会出现，而存储有限主题混合的专业化预测器仅在训练 token 数量超过数据生成过程的参数量后才会形成。训练后的 Transformer 在无需拟合参数的情况下完美复现了理论预测的规模与转换分界点。