上下文学习中思维链（CoT）的渐近理论

该研究利用高维渐近随机矩阵理论，推导出上下文学习中思维链（CoT）泛化误差关于推理深度、预训练数据量与上下文长度的精确公式。分析揭示了指数改善、饱和及过度思考间的相变，表明更深推理需充足预训练和上下文支持，否则易导致误差放大或饱和。相关预测已在线性注意力和 softmax 注意力模型实验中得到验证。