arXiv cs.LG· Zhanhong Jiang, Soumik Sarkar·· 22 天前AI 评分34
基于 LoRA 适配器的个性化联邦直接偏好优化（pFedDPO）
Personalized Federated Direct Preference Optimization via LoRA Adapters
AI 导读
研究者提出个性化联邦直接偏好优化方法 pFedDPO，让每个客户端在共享全局基座模型上保留本地私有 LoRA 适配器，以解决异构偏好对齐问题。基座模型每轮通过 FedAvg 进行同步，LoRA 适配器则留在本地捕捉客户端特定偏好模式。偏好数据集实验表明，pFedDPO 的梯度范数持续低于原生 FedDPO，同时在训练损失和客户端奖励准确率上保持竞争力。
来源：arXiv cs.LG · arxiv.org