arXiv cs.LG· Woosang Lim, Haneul Yoo, Vincent-Daniel Yun, Sungjoo Yoo·· 19 天前AI 评分36
通过保留注意力的 MLP 裁剪解锁推理大模型的结构化剪枝：LayerTrim
Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming
AI 导读
研究者提出免训练结构化剪枝方法 LayerTrim，通过识别冗余解码器层并选择性裁剪其 MLP 特征，在保留注意力机制和解码深度的同时保护长程推理能力。跨 3 个推理模型和 5 个基准的测试显示，该方法平均准确率相比 RESP 最多提升 21.4 个百分点。在 Qwen3-14B 上，LayerTrim 实现了 1.24x 的 Prefill 加速并降低 19.7% 的 GPU 峰值显存。
来源：arXiv cs.LG · arxiv.org