arXiv cs.LG· Dong Liu, Yanxuan Yu, Eric Jiang, Shu Wang, Ying Nian Wu·· 12 天前AI 评分44
KVLearn：分离式 LLM 推理系统中基于学习的 KV cache 保留框架
To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems
AI 导读
研究人员提出基于学习的成本感知 KV cache 保留框架 KVLearn，用于优化分离式 LLM 推理系统中的缓存准入与保留决策。该框架通过前缀复用预测器、成本感知保留评分和自适应阈值控制器协同工作，无需修改模型权重。评测显示，KVLearn 相比 LRU-Pool 将端到端首字延迟（TTFT）降低最高 38%，并减少最高 53% 的节点间传输量，代码已开源。
来源：arXiv cs.LG · arxiv.org