arXiv cs.LG· Maharani A. P. Irawan, Kuntai Du, Jiayi Yao, Dongjoo Seo, Yuyang Huang, Haryadi S. Gunawi, Junchen Jiang·· 11 天前AI 评分36
Gandalf：延长大语言模型服务中 KV cache 卸载的闪存寿命
Gandalf: Flash Shall Not Die! Increasing Flash Storage Lifetime for KV Cache Offloading in LLM Serving
AI 导读
Gandalf 作为首个具备 SSD 寿命感知的 KV cache 卸载系统被提出，旨在延长大语言模型服务中闪存的寿命。系统结合注意力类型等应用层信息，优先将 full-attention 的 KV cache 写入 SSD，在不牺牲命中率的前提下大幅削减写入量。评测显示 Gandalf 平均将 SSD 寿命延长 7.3X 且对命中率影响微乎其微，并可扩展至高带宽闪存（HBF）。
来源：arXiv cs.LG · arxiv.org