Transformer 架构的渐近行为研究

研究发现单层 3 个 token 的纯注意力 Transformer 在长时间生成文本时可能无法收敛。针对包含任意有限深度、层归一化、MLP、RoPE 编码以及局部与全局层混合的 Transformer 类别，每个模型都存在一个 softmax 温度阈值，高于该阈值时经验缓存分布会收敛至独立于初始条件的唯一极限。