arXiv stat.ML· Renjie Xie, Juncheng Yang, Aoting Hu, Yan Liang, Mingxi Zhang, Zheheng Hong, Wei Xu, Yanzhi Chen·· 19 天前AI 评分34
超越专家排序：用于混合精度 MoE 量化的对比度校准框架 NatScale
Beyond Expert Rankings: Contrast Calibration for Mixed-Precision MoE Quantization
AI 导读
研究人员提出混合精度 MoE 量化分配框架 NatScale，通过特定模型的幂变换将基于梯度的专家权重校准至对比度目标，同时保留排序。该方法联合评估每个专家的 gate、up 和 down 配置来估计输出误差，并在存储预算下优选精度配置。
来源：arXiv stat.ML · arxiv.org