arXiv stat.ML· Dwaipayan Haldar, Indranil Patra, Azhar Yousuf, Chandra Sekhar Seelamantula·· 19 天前AI 评分36
SpectrumQuant：基于谱对齐的 LLM 量化方法
SpectrumQuant: Spectrum Alignment for LLM Quantization
AI 导读
研究人员提出面向 LLM 训练后量化的闭式正交旋转方法 SpectrumQuant，通过校准数据估计激活协方差以实现谱对齐。该方法将量化友好型旋转解构为对齐与混合组件，并涵盖了 Hadamard 矩阵与蝶形矩阵。在 Llama 和 Mistral 上的实验表明，其表现媲美 SOTA 策略，GPU 显存需求不足 SpinQuant 和 DartQuant 的 1/3 且耗时显著缩短。
来源：arXiv stat.ML · arxiv.org