arXiv stat.ML· Jonathan Mei, Sang Hyub Kim, Oliver Knitter, Chi Chen, Martin Roetteler·· 2026-10-01AI 评分34
ShamAN-Q：面向大语言模型次 1-bit 权重的 Shampoo 增强 NanoQuant 量化方法
ShamAN-Q: Shampoo Augmented NanoQuant for Sub-1-bit LLM Weights
AI 导读
研究者提出大语言模型次 1-bit 训练后量化方法 ShamAN-Q，通过引入源自 Shampoo 优化器的稠密曲率度量改进 NanoQuant。
来源：arXiv stat.ML · arxiv.org