arXiv cs.AI· Yipin Guo, Arun M George, Siddharth Joshi·· 3 天前AI 评分34
GAAC：面向个人设备高效带宽 LLM 推理的无损 KV 缓存压缩
GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices
AI 导读
GAAC 提出一种无损 KV 缓存压缩系统，利用指数冗余在逐位保真下在 5 个模型上实现 1.405-1.407× 的 BF16 压缩。该方案在 64k token 上下文下将 NVIDIA DGX Spark 解码 attention 加速 1.19-1.27×，端到端 W4A16 解码加速 1.04-1.15×，并削减约 26% 常驻 KV 内存。
来源：arXiv cs.AI · arxiv.org