arXiv cs.AI· Jing Huang, Yu Cheng, Ziwei Yu, Lan Zhao, Sitan Li, Guangxiu Yao, Xin Wang, Yuanyong Luo, Hengyi Liang, Ting Li, Bo Liu, Hu Liu, Michael Bi Mi, Heng Liao·· 1 天前AI 评分34
基于 HiFloat4 格式的大模型量化校准研究
Calibration of Large Model Quantization based on HiFloat4 Format
AI 导读
针对采用三级缩放层级块浮点架构的 4-bit 格式 HiFloat4（HiF4），研究团队提出了 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种大模型量化校准方法。三种方法相比直接 HiF4 转换均提升了推理精度，将 HiF4 与 BF16 的性能差距缩小至 1% 以内。该校准方案在多种模型和下游任务中的表现均超越了现有的 NVFP4 格式。
来源：arXiv cs.AI · arxiv.org