arXiv cs.AI· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 7 天前AI 评分44
RAQ-MLA：面向多头潜在注意力（MLA）Cache 的角色感知量化
RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches
AI 导读
研究者提出免训练的角色感知量化方法 RAQ-MLA，专为大模型的多头潜在注意力（MLA）Cache 设计。该方法针对 latent 和位置 key 对注意力输出的不同误差影响分别拟合可逆变换，将完整 MLA Cache 量化至每个元素约 2.5 bits。在无需训练的情况下，其理论 KV cache 容量提升 6.5x，并在 4 个 MLA 模型的推理与代码任务上保持几乎无损。
来源：arXiv cs.AI · arxiv.org