arXiv cs.LG· Nicol\'as Mauricio Cuadrado \'Avila, Ivo Gollini Navarrete, Martin Tak\'a\v{c}, Samuel Horv\'ath·· 12 天前AI 评分35
用于大语言模型非结构化训练后剪枝的嵌套 LADDER 框架
Building a Nested LADDER for LLM Unstructured Post-Training Pruning
AI 导读
研究人员提出大语言模型非结构化训练后剪枝框架 LADDER，通过逐层损伤驱动评估与微调增量分配稀疏度，生成精确嵌套的掩码。在 OPT、Llama 和 Qwen 的 5 款模型及 10-90% 稀疏度测试中，该方法以 SparseGPT 为候选生成后端，在 70% 及以上高稀疏度下表现出显著鲁棒性。这种高稀疏度优势在后续蒸馏后仍得以保留，有效提升了零样本综合准确率。
来源：arXiv cs.LG · arxiv.org