arXiv cs.LG· Michael Tian-Yue Liu, Anne Harrington, Trevor Darrell, Yutong Bai·2026-10-16 12:00· 18 天前AI 评分37

评测裁判模型：标准即奖励（RaR）中的置信度与分歧研究

Judging the Judges: Confidence and Disagreement in Rubrics as Rewards

AI 导读

研究人员提出了多裁判集成策略 RaRE，用于改进将结构化标准作为强化学习奖励的 RaR 方法。RaRE 包含利用裁判 logprobs 对高置信度打分赋予更高权重的 soft-Likert 奖励，以及在 GRPO 更新中剔除高分歧样本的 drop-on-disagreement 机制。

来源：arXiv cs.LG · arxiv.org