arXiv cs.AI· Junjie Li, Jiong Lou, Jie Li·· 19 天前AI 评分40
GateSight：利用循环记忆预测注意力记忆以实现混合大语言模型的 KV 驱逐
GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs
AI 导读
研究人员提出 GateSight 方法，利用混合架构大语言模型中 Gated DeltaNet 层的写入门控等信号，无需注意力分数即可在预填充后预测并物理释放低效的 KV cache。
来源：arXiv cs.AI · arxiv.org