arXiv cs.LG· Sara Abdali, Jongwoo Ko, Pashmina Cameron·· 27 天前AI 评分34
AttSVD：基于注意力引导 SVD 的提示词自适应低秩 KV cache 压缩
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
AI 导读
AttSVD 提出了一种基于注意力引导 SVD 的免训练低秩 KV cache 压缩方法，在保留全部 token 的前提下沿特征轴降低存储开销。该方法通过在线截断 SVD 仅保留注意力实际读取的方向，并提供累积与流式两种解码缓存策略。在智能体基准和完整 LongBench 评测中，AttSVD 仅占用最多 50% 的 KV cache 内存，性能与稠密缓存相当。
来源：arXiv cs.LG · arxiv.org