arXiv cs.LG· Yufeng Wang·· 25 天前AI 评分36
冻结解码器并修复编码器：基于 SVD 的 KV cache 压缩参数高效适配
Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression
AI 导读
针对基于 SVD 的 KV cache 压缩微调，研究指出采用冻结解码器、仅修复编码器的方案，在独立调优学习率后可达到与微调双边相当的精度恢复效果。该方案实测可节省 3x 的可训练参数量，并减少 3x 的优化器状态显存占用。团队在 Qwen2.5-VL-3B-Instruct 及纯文本基准上完成了验证，同时警示使用单一共享学习率对比不同微调方案会制造虚假优势。
来源：arXiv cs.LG · arxiv.org