arXiv cs.AI· Sreetama Sarkar, Saptarshi Mitra, Sitao Huang, Souvik Kundu, Peter A. Beerel·· 25 天前AI 评分38
RaReCache：基于秩不一致选择性重计算弥补跨模型 KV Cache 复用差距
RaReCache: Bridging the Gap in Cross-Model KV Cache Reuse via Rank disagreement-based Selective Recomputation
AI 导读
RaReCache 框架通过基于秩不一致的选择性重计算，支持大模型直接复用小模型预填充的 KV cache。在 Qwen3-0.6B 至 14B 上仅需重计算 30% 位置即可保留 95-99% 精度，在 Llama3-8B 至 70B 上重计算 40% 可保留 96.5% 精度。
来源：arXiv cs.AI · arxiv.org