arXiv cs.LG· Ali Abbasi, Justin Shi, Soheil Kolouri·· 2026-09-30AI 评分38
BASE：面向高效 MoE 解码的批感知专家选择方法
BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding
AI 导读
针对 MoE 模型批处理解码的权重传输瓶颈，研究人员提出无需重训的批感知专家选择方法 BASE，通过轻量线性预测器估算专家移除误差并协同跨请求复用专家。在 Qwen3-30B-A3B 上，BASE 在紧凑预算下平均准确率较最强基线提升 29.5 points；在更高预算下比稠密推理提速 60%，准确率差距在 0.4 points 以内。
来源：arXiv cs.LG · arxiv.org