arXiv cs.AI· Erfan Baghaei Potraghloo, Saeid Shokoufa, Seyedarmin Azizi, Arya Fayyazi, Souvik Kundu, Mehdi Kamal, Massoud Pedram·· 11 小时前AI 评分46
SafeStart：缓解 MoE 大语言模型推理中削减专家的安全代价
SafeStart: Mitigating the Overlooked Safety Cost of Active Expert Reduction in MoE LLM Serving
AI 导读
研究提出 SafeStart 方法，以解决 MoE 大语言模型在推理服务中因削减激活专家加速而导致安全拒绝能力下降的隐患。SafeStart 在处理提示词及生成前 8 个 token 时调用全部专家，随后再削减专家数量。在 vLLM 测试中，该方法保留了至少 85% 的离线解码提速，并将越狱下的有害遵从率变化控制在 -2.1 至 +1.3 个百分点。
来源：arXiv cs.AI · arxiv.org