arXiv cs.LG· Guanhua Ding, Zi Wang, Ruichao Li, Jack Liu·· 26 天前AI 评分35
CurveTQ：基于曲率加权搜索的大语言模型权重无旋转网格量化
CurveTQ: Rotation-Free Trellis Quantization of LLM Weights via Curvature-Weighted Search
AI 导读
CurveTQ 是一种无需旋转变换的大语言模型权重网格量化方法，通过将 Hessian 矩阵权重引入 Viterbi 搜索直接按曲率优化。在 2-bit 设置下，其在三款 4-8B Instruct 模型上的平均下游准确率比 QTIP 和 Proteus 高 1-3 个点，并在 35B MoE 模型上保持领先。因解码时无需撤销旋转，其速度在所有测试批次大小和位宽下均为三者中最快。
来源：arXiv cs.LG · arxiv.org