arXiv cs.LG· Ryan Solgi, Parsa Madinei, Zheng Zhang·· 26 天前AI 评分35
面向多维序列建模的 Tucker 瓶颈注意力机制 TuBA
Tucker Bottleneck Attention for Multi-Dimensional Sequence Modeling
AI 导读
研究人员提出 Tucker 瓶颈注意力机制（TuBA），通过将隐藏张量投影至低秩紧凑核心执行注意力与线性投影，实现面向多维长序列的亚二次方计算复杂度。该机制还支持核心内双向交互与核心间因果注意力相结合的自回归扩展。相比标准自注意力，TuBA 在视频预测上最高降低 24.7% 误差与 66.6% 计算量，在自回归天气预报中降低 37.1% 误差与 85.1% 计算量，加速达 4.27 倍。
来源：arXiv cs.LG · arxiv.org