原型引导双边对齐的多模态联邦学习框架 MFedPBA

研究者提出面向多模态联邦学习的新框架 MFedPBA，旨在解决客户端模型架构异构与模态严重不平衡的挑战。该框架引入双重对齐机制：在特征级通过对比学习与 Gromov-Wasserstein 距离对齐异构特征空间，在决策级对 logit 原型实施熵加权聚合。实验结果显示，MFedPBA 在异构及不平衡条件下的性能显著优于现有 SOTA 基线。