arXiv cs.LG· Xiuyi Qin·· 12 天前AI 评分45
2:4 稀疏度还值得用吗？LLM 推理中半结构化稀疏与量化的对比研究
Is 2:4 Sparsity Still Worth It? Semi-Structured Sparsity versus Quantization in LLM Inference
AI 导读
研究表明在 LLM 推理中只要更低精度可用，降精度优于引入 2:4 稀疏度，后者精度更低且速度更慢。但当量化达到硬件支持的最低精度时，2:4 稀疏度仍能为线性层带来 1.3-1.7x 加速；在 H100 上经重训练的 2:4 模型通过 vLLM 以 FP8 运行，Prefill 吞吐量比稠密 FP8 高 27% 且 GSM8K 准确率持平。
来源：arXiv cs.LG · arxiv.org