arXiv cs.LG· Gleb Molodtsov, Ekaterina Alimaskina, Evgeny Uskov, Artur Zagitov, Aleksandr Beznosikov·· 27 天前AI 评分37
块级扩散语言模型中的掩码引导 KV Cache 驱逐
Mask-Guided KV Cache Eviction in Block Diffusion Language Models
AI 导读
研究团队提出无需训练的 MaskAhead 及其量化变体 Q-MaskAhead，通过掩码查询排序机制优化块级扩散语言模型的 KV cache 驱逐与 token 选择。长提示问答中，两者分别降低 9.5x 和 20.1x 的 KV 显存，平均 F1 仅损失 1.2 和 2.3 点；并在 batch-32 测试中取得 1.23x 端到端与 1.68x 解码加速。
来源：arXiv cs.LG · arxiv.org