注意力机制非线性涌现反深度缩放规律

研究表明，大语言模型中的非线性注意力在所有测试的数据谱下，均会产生损失随模型深度倒数衰减的缩放规律。与受限于数据谱的线性注意力不同，非线性机制使注意力能选择性聚焦于相关 token，支持强弱谱方向并行学习。该机制结合中心极限定理效应将层级差异转化为持续收益，表明深度缩放现象可能直接源于注意力的非线性。