arXiv cs.LG· Bahareh Nikpour, Hossein Rajabzadeh, Maryam Dialameh, Vahid Partovi Nia, Parsa Omidi·· 22 天前AI 评分40
Kronecker Product Attention：基于结构化分解的高效 KV 缓存压缩
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
AI 导读
研究团队提出 Kronecker Product Attention（KPA），将 KV 激活值表示为紧凑矩阵因子的克罗内克积之和，实现最高 10x 的 KV cache 压缩。该方法严格泛化了 TPA，并通过匹配的结构化旋转嵌入消除了类似 MLA 的解耦 RoPE 分支。在相同训练条件下，KPA 在 4 个模型规模和 9 个下游基准上性能达到或超过 MHA、MQA、GQA 与 MLA。
来源：arXiv cs.LG · arxiv.org