arXiv stat.ML· Bin Luo, Param Venkat Vivek Kesireddy, Anil Vallepu·· 16 小时前AI 评分35
RW-DPO：面向鲁棒偏好学习的可靠性加权直接偏好优化
Reliability-Weighted Direct Preference Optimization: Penalized Weights for Robust Preference Learning
AI 导读
针对偏好数据中的反转与平局噪声，研究提出 RW-DPO 方法，为样本引入可靠性权重并通过极小极大凹惩罚与策略联合优化。该方法仅对模型产生矛盾的样本进行闭式权重更新，计算开销相比 DPO 几乎可忽略。在包含 10%–30% 标签反转的大语言模型微调中，其胜率不随反转率上升而下降，且超过了在干净标签上训练的 DPO。
来源：arXiv stat.ML · arxiv.org