arXiv stat.ML· Yanlong Zhao, Xiaoyuan Cheng, Huihang Liu, Baihua He, Xinyu Zhang, Harrison Bo Hua Zhu, Wenlong Chen, Li Zeng, Zhuo Sun·· 25 天前AI 评分37
当更低重构损失损害性能：低比特大语言模型量化的分布鲁棒优化
When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization
AI 导读
针对训练后量化中更低重构损失反而可能损害模型性能的问题，研究者提出事后优化框架 DRQ（Distributionally Robust Quantization）。
来源：arXiv stat.ML · arxiv.org