arXiv cs.AI· Yanshuo Chen, Chenxi Liu, Reza Shirkavand, Heng Huang·· 8 天前AI 评分39
MPQ：后训练量化的消息传递视角
MPQ: A Message-Passing View of Post-Training Quantization
AI 导读
研究团队提出消息传递量化（MPQ），将大模型后训练量化建模为离散码本后验推断，在推断中保留跨块软后验信息。MPQ 先利用向量近似消息传递计算近似分块后验，再通过精确分块坐标下降精炼硬决策。在 Llama、Qwen 与 Mistral 的 2-bit 格子量化及 3-bit、4-bit 标量量化测试中，MPQ 改善了困惑度与 zero-shot 准确率，代码已开源。
来源：arXiv cs.AI · arxiv.org