arXiv cs.AI· Suhas Kumar Morisetty, Vaibhavi Lokegaonkar, Sachin Mathew Varghese, Wesley Harris·· 6 天前AI 评分35
WAKMan：工作负载感知的 KV cache 管理器
WAKMan: Workload Aware KVCache Manager
AI 导读
研究人员提出工作负载感知的 KV cache 管理器 WAKMan，无需获知请求类型或读取提示词，即可自适应选择淘汰策略，将缓存命中率较 LRU 平均提升 5 个百分点。针对 20 种混合流量下单一策略无法通用的问题，它有效兼顾了偏好时间局部性的智能体步骤与偏好频率的长对话，在所有策略中取得了最低的平均与最坏情况最优性差距。
来源：arXiv cs.AI · arxiv.org