跳到正文
原文
arXiv cs.AI· Robbie Goldfarb, Andrew B. Hall, Jillian Fisher, Kathryn Salam, Matt Wilde·· 7 天前AI 评分41

大规模提炼专家判断:面向 AI 自动化评估系统的通用方法

Distilling Expert Judgment at Scale

AI 导读

研究人员提出一种将人类专家判断提炼为大规模自动化评估系统的通用方法,通过提取专家推理并编码为结构化编辑标准供自动化裁判使用。在 AI 新闻报道验证中,自动化裁判在源质量与中立性上对照专家共识分别达到 F1 = 0.81/0.97 和 F1 = 0.86。对照实验表明,专家校准裁判的表现显著优于未校准的前沿模型,证明编码专家推理是单纯提示词工程无法替代的关键。

来源:arXiv cs.AI · arxiv.org