arXiv cs.LG· Alexandra Volkova, Matin Ansaripour, Erik Schultheis, Christoph H. Lampert, Dan Alistarh·· 26 天前AI 评分34
Q-PACE：用于量化感知训练的动态精度分配方法
Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training
AI 导读
研究人员提出面向量化感知训练（QAT）的动态精度分配方法 Q-PACE，利用二阶敏感度模型预测量化损失并定期重新分配各层精度。在参数规模最高达 4B 的大语言模型预训练与监督微调实验中，该方法优于现有混合精度训练方案，能在显著降低总内存预算的同时保持相当的损失表现。此外，量化敏感度在训练期间高度稳定，仅需低频、低开销的重新校准。
来源：arXiv cs.LG · arxiv.org