arXiv stat.ML· Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li·· 12 天前AI 评分34
Interdomain Attention：超越 token 级别的键值记忆架构
Interdomain Attention: Beyond Token-Level Key-Value Memory
AI 导读
研究者提出 Interdomain Attention（IA）混合架构，在同层内融合注意力与基于 SSM 的循环记忆，保持计算效率的同时近似点积注意力。在 125M-1.3B 文本预训练模型中，IA 在匹配记忆大小下优于 S4D 基线，并在困惑度和常识推理准确率上超越传统 Transformer。在基于 Caduceus 骨干的基因组数据测试中，IA 同样持平或超越原 SSM 架构。
来源：arXiv stat.ML · arxiv.org