arXiv stat.ML· Weiqi Sun, Qianyue Wu, Wenjia Wang, Tianyang Hu·· 22 天前AI 评分34
基于分组二次核的离群感知注意力线性化方法 OAL
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
AI 导读
研究人员提出离群感知注意力线性化方法（OAL），通过将贡献尺度相近的维度分组共享系数并单独处理少数离群维度，构建对序列长度具备线性复杂度的正二次核近似。在 Qwen2.5-0.5B 上，OAL 相比 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%。
来源：arXiv stat.ML · arxiv.org