arXiv cs.AI· Yiren Zhao, Guanghui Song, Tianrui Qin, Kejiang Ye, Cheng-zhong Xu, Xitong Gao·· 29 天前AI 评分37
iS-KV：基于块增量 SVD 的在线低秩 KV cache 压缩方法
iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD
AI 导读
研究人员提出在线低秩 KV cache 压缩方法 iS-KV，通过块增量 SVD 在长链式推理中压缩旧状态并同步基底坐标以防历史漂移。
来源：arXiv cs.AI · arxiv.org