arXiv cs.AI· Xianglong Yan, Zenan Wu, Kewei Zhang, Kaicheng Yang, Yulun Zhang·· 19 天前AI 评分41
SAGE：推动 2-bit 矢量量化大语言模型迈向实用
SAGE: Pushing 2-Bit Vector-Quantized LLMs toward Real-World Usability
AI 导读
研究人员提出针对仅权重矢量量化的 SAGE 方法，通过能量分层分组保护敏感通道，并利用自适应比特拆分平衡方向码本容量与半径精度。在 2-bit 量化设置下，SAGE 在知识、数学、代码生成等基准测试中取得 SOTA 表现，在 Qwen3-30B-A3B 上保留了 BF16 模型 95.3% 的平均基准得分。
来源：arXiv cs.AI · arxiv.org