arXiv cs.LG· Minsang Kim, Seungjun Baek·· 11 天前AI 评分40
MoEZip：面向稀疏 MoE 大语言模型的路由感知 KV Cache 压缩
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
AI 导读
MoEZip 是一种面向稀疏 MoE 大模型的路由感知 KV cache 压缩方法，解决了 KV 淘汰改变专家路由并损害生成质量的问题。该方法基于路由分布的 Fisher 信息矩阵评估敏感度，并结合注意力权重对上下文评分。在 10% 的 KV 保留率下，MoEZip 在 LongBench 和 RULER 上较 SOTA 基准平均提升 +24 和 +20 分，分别达到 2.3x 和 4.9x。
来源：arXiv cs.LG · arxiv.org