arXiv cs.LG· Yifan Liu·· 18 天前AI 评分31
任务阶段条件下的专家路由不能作为 MoE FFN 张量量化敏感度的可靠代理指标
Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors
AI 导读
研究发现基于任务阶段的 MoE 专家路由统计量无法有效指导 FFN 张量的分层混合精度量化。研究团队针对 Qwen-3.6-35B-A3B 构建了路由分析流程并计算综合敏感度分数，但在约 4.0 bpw 和约 2.7 bpw 等预算实验中，路由指导的重分配均未能超越均匀量化基线。实验表明路由行为统计量并非层级真实量化代价的有效代理指标，激进预算下还会引发显著的结构性损失。
来源：arXiv cs.LG · arxiv.org