热点事件观察中
研究人员提出无损KV缓存压缩系统GAAC
1 篇报道1 个报道来源3 天前更新
先了解这件事
AI 综述
2026年10月31日，arXiv发布论文提出面向个人设备高效带宽大语言模型推理的无损KV缓存压缩系统GAAC。该系统利用指数冗余，在逐位保真条件下，在5个模型上实现了1.405至1.407倍的BF16压缩，并削减了约26%的常驻KV内存。此外，在64k token上下文环境下，该方案将NVIDIA DGX Spark解码attention加速1.19至1.27倍，端到端W4A16解码加速1.04至1.15倍。
AI 根据报道生成 · 2 天前更新
最新进展10月31日 12:00
GAAC系统提出无损KV缓存压缩方案，可削减约26%内存并提升解码速度。报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- arXiv cs.AIGAAC：面向个人设备高效带宽 LLM 推理的无损 KV 缓存压缩
GAAC 提出一种无损 KV 缓存压缩系统，利用指数冗余在逐位保真下在 5 个模型上实现 1.405-1.407× 的 BF16 压缩。该方案在 64k token 上下文下将 NVIDIA DGX Spark 解码 attention 加速 1.19-1.27×，端到端 W4A16 解码加速 1.04-1.15×，并削减约 26% 常驻 KV 内存。
本事件热度走势
当前热度 3·可比范围峰值 7（11月1日 03:00）·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。