单头注意力机制中长度泛化的位置可实现性理论

该研究针对单头仅位置注意力机制提出了长度泛化可实现性理论，通过模拟转移算子与无须训练即可计算的标量 $\alpha_L$，阐明了长度泛化对位置编码的依赖机制。在词表 64、维度 d=128 的 2625 次模型测量实验中，$\alpha_L$ 精确区分了不同位置编码与任务的泛化表现，但该理论仅针对纯位置通道。