arXiv cs.LG· Gwen Legate, Rahaf Aljundi, Eugene Belilovsky·· 18 天前AI 评分33
Optimal Hydra：基于数据感知 Hydra-Nets 的大语言模型异构联邦学习
Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets
AI 导读
研究人员提出基于 Transformer 架构的异构联邦学习微调框架 Optimal Hydra，结合全局层选择与匹配本地数据分布的客户端注意力头选择，构建客户端专用子网络 Hydra-nets。该方法据称是首个专门面向 LLM 微调的模型异构联邦学习方案。在 3 个数据集上的实验显示，Optimal Hydra 相比基线方法取得显著改进，并降低了本地资源需求。
来源：arXiv cs.LG · arxiv.org