带 CoT 的 Transformer 经训练可自主发现重球加速算法

研究表明带 CoT 的 Transformer 在线性回归上下文权重预测任务中，不仅能模仿教师算法，还能通过训练自主发现更优算法。模型在接受梯度下降教师的初步监督后，经真实回归权重的轨迹级监督训练，学会了实现重球加速方法。该加速算法在没有任何重球算法教师监督的情况下自主涌现，为 Transformer 超越监督样本发现新算法提供了理论证据。