arXiv cs.LG· Tianxiang Xia, Kai Lion, Niao He, Michael Muehlebach, Melanie Zeilinger, Hao Ma·· 7 天前AI 评分37
大模型结构化稀疏学习：兼顾模型可压缩性与高效推理
Learning Structured Sparsity for Large Models: Bridging Model Compressibility and Efficient Inference
AI 导读
研究人员提出 S-SALAAD 框架，在训练中联合学习低秩与结构化稀疏组件，使单个 checkpoint 能弹性适配多种内存预算。该框架支持硬件兼容稀疏模式并配备专用 CPU 与 GPU 内核，消除传统稀疏的索引与内存开销。在 Llama2 和 Qwen3 上的实验表明，其在困惑度、内存占用和推理延迟上均推进了经验 Pareto 前沿。
来源：arXiv cs.LG · arxiv.org