跳到正文
原文
arXiv cs.LG· David Jin, Beshr IslamBouli, Tarushii Goel, Han Guo, Yoon Kim·· 7 天前AI 评分39

BiLoCo:面向训练后量化的二值低秩校正方法

BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization

AI 导读

BiLoCo 是一种面向大模型 FP4 训练后量化(PTQ)的二值低秩校正方法,将校正因子存为二值符号向量,单秩分量存储减少 16 倍,且可在 CUDA Core 上与 Tensor Core FP4 GEMM 并发运行。

来源:arXiv cs.LG · arxiv.org