arXiv cs.AI· Pengxin Guo, Shuang Zeng, Zonggen Li, Weiying Zheng, Mengting Liu, Liangqiong Qu·· 25 天前AI 评分37
Fed-GRPO：基于奖励信号驱动的联邦群体相对策略优化框架
Fed-GRPO: Reward-Signal-Driven Federated Group Relative Policy Optimization
AI 导读
研究人员提出 Fed-GRPO 联邦训练框架，利用 GRPO 训练中天然生成的奖励统计作为零成本信号，无需共享原始数据即可协同训练大语言模型的推理能力。该框架包含信号加权聚合、全局奖励校准与自适应稀疏通信三项机制。数学推理任务实验表明，Fed-GRPO 显著优于 FedAvg 并接近中心化训练性能，可无损降低 32x 通信量，且在紧缺带宽下支持高达 621x 压缩。
来源：arXiv cs.AI · arxiv.org