MoRE：通过硬件感知低秩路由扩展混合专家模型

MoRE 提出对路由器权重矩阵进行秩为 r 的分解，将 MoE 路由开销从 Θ(Mh) 降至 O((h + M)r)，在匹配的激活 FLOPs 下可容纳增加 Θ(h/r) 倍的专家。该方法配合避免 HBM 高开销访存的推理融合 Triton 内核，在保持模型推理能力的同时提升了知识密集型 Q&A 基准表现，相关代码已开源。