arXiv cs.LG· Fei Wang, Baochun Li, Bo Li·· 16 小时前AI 评分40
解析微调 MoE 大语言模型中可恢复的专家利用特征
Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs
AI 导读
研究揭示微调 MoE 大语言模型存在“结构记忆”安全漏洞，模型会记住处理训练数据的内部路径并形成特征路由指纹。攻击者无需了解微调数据，仅凭模型无条件生成时的路由和输出 logits 即可隐蔽恢复专家路径。这导致传统成员推理检测失效，并可能在分布式部署中引发针对性的路由器操控或后门注入攻击。
来源：arXiv cs.LG · arxiv.org