arXiv cs.LG· Linfeng Dong·· 26 天前AI 评分41
KVFetch：面向 KV cache 压缩缺失维度的时序预取框架
KVFetch: Temporal Prefetching for the Missing Half of KV Cache Compression
AI 导读
免训练即插即用框架 KVFetch 正式提出，通过引入时序预取补全 KV cache 压缩在顺序遍历上的不足，解决长文本逐字拷贝中断问题。它将驱逐的候选 token 降级至量化冷层并预取位置后继，不增加注意力计算开销。在 RULER-16K 评测中，KVFetch 将逐字拷贝分数从 0.8 恢复至 78.4，13 项任务平均分提升 +8.4。
来源：arXiv cs.LG · arxiv.org