arXiv cs.AI· Wenhui Lv, Yunming Liao, Hongli Xu, Yang Xu, Junhao Cheng·· 15 天前AI 评分33
基于自适应专家分配的高效 CPU-GPU 协同 MoE 推理
Efficient CPU-GPU collaborative MoE inference via Adaptive Expert Assignment
AI 导读
新提出的 CPU-GPU 协同 MoE 推理系统通过自适应专家分配解决显存受限瓶颈，将高 token 负载的未命中专家转移至 GPU 执行、低负载专家留在 CPU 计算。该方案动态平衡 CPU 与 GPU 路径耗时，在 3 款代表性 MoE LLM 测试中，相较最强 baseline 将 prefill 速度提升最高 51.9%，decode 吞吐量提升最高 39.5%。
来源：arXiv cs.AI · arxiv.org