arXiv cs.AI· Delin Wang, Sinuo Wang, Rui Sun, Beidi Luan, Qiming Shi, Jing Li, Daxin Jiang, Zuo Bai·· 6 天前AI 评分38
RubricAtlas:从专家报告中挖掘类型级细则以评估深度研究智能体
RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents
AI 导读
RubricAtlas 评估框架通过从专家研报中提取类型级细则,用于系统评测深度研究智能体生成报告的分析完整性。该框架基于 3,079 篇中文金融研报构建并覆盖 99 种研究类型,将二元检查点关联至原文段落,独立评估完整性与论证有效性。在 10 个智能体的测试中,裁判流程取得 $\kappa$ = 0.71 的检查点一致性与 Kendall $\tau$ = 0.87 的排名一致性。
来源:arXiv cs.AI · arxiv.org