arXiv cs.LG· Mehdi Makni, Ryan Lucas, Rahul Mazumder·· 2026-09-30AI 评分36
ThinQuant：面向大语言模型权重与激活量化的高扩展性旋转学习
ThinQuant: Scalable Rotation Learning for Weight and Activation Quantization of LLMs
AI 导读
ThinQuant 提出一种用于大语言模型权重与激活量化的可扩展旋转学习方法，通过激活值几何筛选与 ADMM 瘦矩阵优化大幅降低计算开销。在 Llama-3-70B 的 W4A4KV4 量化中，ThinQuant 耗时不到 12 分钟即完成校准，WikiText-2 困惑度达 5.63，显著优于 DartQuant 的 111 分钟和 7.55。
来源：arXiv cs.LG · arxiv.org