arXiv cs.LG· Donghyun Lee, Arkapravo Ghosh, Varun Manjunath, Bumjoon Kyle Rhee, Hyunho Kook, Shiting Xiao, Youngeun Kim, Priyadarshini Panda·· 27 天前AI 评分35
SoloQ：面向扩散大语言模型的免校准量化框架
SoloQ: Calibration-Free Quantization for Diffusion Language Models
AI 导读
研究提出免校准量化框架 SoloQ，通过结合结构化 K-RPBH 旋转与轻量级重缩放校正，实现面向扩散大语言模型的数据无关 4-bit 量化及 commit-time KV cache 压缩。
来源：arXiv cs.LG · arxiv.org