arXiv cs.LG· Michel Fabrice Serret, Laura Grigori·· 16 小时前AI 评分36
用于注意力机制上下文压缩的核插值方法
Kernel-based Interpolatory Methods for Context Compression of Attention Mechanisms
AI 导读
研究提出 GAIM 与 Q-DAIM 两种基于核插值的 KV cache 压缩方法，将注意力机制形式化为希尔伯特空间中的线性映射插值。针对二次复杂度问题，该研究结合泰勒级数、Performer 和随机傅里叶特征代理模型实现线性时间压缩，并拓展支持流式注意力。LongBench-E 基准测试显示其表现与 SOTA 相当，Q-DAIM 能有效识别 KV cache 中的信息富集区域。
来源：arXiv cs.LG · arxiv.org