arXiv cs.LG· Shiyu Ji, Peng Ling, Chen Lin, Shupeng Li, Yixuan Wang, Qingfu Zhu, Wanxiang Che·· 18 天前AI 评分37
RoLaQ：针对多头潜在注意力中 2-Bit KV Cache 的联合旋转与范围校准
RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention
AI 导读
研究人员提出离线校准方法 RoLaQ，通过联合旋转与范围校准优化多头潜在注意力（MLA）架构下的 2-bit KV cache 压缩。在 3 个 MLA 模型和 6 项评测基准上，RoLaQ 在对比的 2-bit 方法中均取得了最高平均精度。
来源：arXiv cs.LG · arxiv.org