arXiv cs.LG· Fatema Siddika, Abhijit Chunduru, Zilinghan Li, Ali Jannesari, Ravi Madduri·· 6 天前AI 评分29
FedSEAM：基于子空间专家一致性合并的大语言模型联邦持续学习框架
FedSEAM: Federated Continual Learning of LLMs via Subspace Expert Agreement Merging
AI 导读
FedSEAM 提出了一种大语言模型联邦持续学习框架，通过将任务知识组织为稀疏专家并在任务与客户端间选择性共享内容。客户端通过子空间兼容性测试决定专家复用与扩容，服务端借助 SEAM 仅沿共识方向合并更新，并针对路由漂移和合并擦除提供保护机制。该方法已在 TRACE 基准上使用 Qwen3-4B 和 Llama-3.2-3B 完成验证。
来源：arXiv cs.LG · arxiv.org