高斯混合分布下的 Softmax 注意力机制：可线性则线性，需选择则选择

新研究分析了高斯混合分布下 Softmax 注意力机制在无限提示词极限下的数学机理，揭示其兼具线性表征与上下文选择能力。研究证明 Softmax 注意力机制可通过基于梯度的优化方法表示并学习到监督分类与去噪等统计任务的最优解。该机制既能像线性注意力一样有效处理线性任务，也能利用依赖 query 的上下文选择解决线性注意力无法胜任的非线性任务。