arXiv stat.ML· Licheng Pan, Haocheng Yang, Yuzhou Chen, Yichen Sun, Yuan Lu, Yunfei Teng, Jiajun Fan, Guangyi Liu, Zhixuan Chu, Hao Wang·· 18 天前AI 评分33
CleanRM：利用少量干净反馈解决 RLHF 噪声反馈奖励建模
CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF
AI 导读
研究人员提出 CleanRM，利用少量干净反馈通过最优传输来校准样本级噪声比，解决偏好数据中样本噪声不均导致的奖励建模偏差。该方法将带噪反馈反转的偏好联合分布与干净反馈对齐，并使用噪声修正的替代损失训练奖励模型，理论上证明其目标函数对干净风险是无偏的。实验表明，CleanRM 性能优于现有去噪基线，带来了更有效的下游 RLHF 对齐。
来源：arXiv stat.ML · arxiv.org