arXiv cs.LG· Zicong Huang·· 18 天前AI 评分34
扩展注意力：通过泰勒级数实现固定循环状态数的线性时间 Transformer
Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States
AI 导读
研究提出将注意力机制的指数核展开为截断泰勒级数，将其因式分解并压缩为固定 $n$ 个循环状态，实现了独立于上下文长度 $N$ 的线性时间 Transformer。
来源：arXiv cs.LG · arxiv.org