arXiv cs.LG· Hanming Zhang, Erhu Feng·· 6 天前AI 评分33
COPE：面向 MoE 卸载策略的可组合性能仿真器
COPE: Composable Performance Emulation for Mixture-of-Experts Offloading Policies
AI 导读
COPE 是一种面向 MoE 卸载策略的仿真器，可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件，通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线，COPE 将最快策略选择准确率提升 24%-100%，性能预测误差降低 1.7x 至 6.8x，策略实现工作量减少最多 74%。
来源：arXiv cs.LG · arxiv.org