arXiv cs.LG· Nenad Banfic·· 2026-09-30AI 评分35
HeadGuard：低比特 VLM KV cache 量化的选择性注意力头保护方法
HeadGuard: Selective Head Protection for Low-Bit VLM KV-Cache Quantization
AI 导读
HeadGuard 是一种低比特 VLM KV cache 保护方法，通过将约 1/8 关键物理头保留在 BF16 精度以大幅挽回量化精度损失。在 8 款 VLM 测试中，千问（Qwen）与 InternVL 提升最显著，2 bits 下 8 款模型的 6 项判别任务均分从 0.436 提升至 0.580。该方法无需替换底层量化器，且仅保护 keys 就能以更低存储开销实现显著恢复。
来源：arXiv cs.LG · arxiv.org