arXiv cs.LG· Davis Wertheimer, Haochen Shen, Ahan Gupta, Derrick Liu, Yu Chin Fabian Lim, Mudhakar Srivatsa, Raghu K. Ganti, Minjia Zhang, Naigang Wang·· 26 天前AI 评分36
自剪枝 Transformer：基于 Universal Attention 的极致 KV cache 压缩
A Self-Pruning Transformer: Extreme KV-Cache Compression with Universal Attention
AI 导读
Universal Attention 架构通过整合复合衰减机制并保留 RoPE 与 Softmax attention，实现了端到端训练的自适应 KV cache 剪枝。实验显示，该方法在自然语言和合成任务中取得了 10x 的 SOTA 压缩率，下游性能甚至优于未剪枝基线。在长上下文泛化测试中，该架构在 16k 长度下实现了 25x 的压缩率。
来源：arXiv cs.LG · arxiv.org