跳到正文
原文
arXiv cs.AI· Jiarui Yao, Ruida Wang, Tong Zhang·· 3 天前AI 评分47

OpenFrontiers:开放研究问题集合与科学再发现评测基准

OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery

AI 导读

研究团队推出 OpenFrontiers,包含 12,151 个开放研究问题的语料库以及 200 个经 Lean 4 形式化核验的数学问题评测基准。该基准在沙箱中通过双检查器核验证明,并在闭卷、冻结检索和联网条件下测试了 7 个 LLM 智能体。结果显示闭卷再发现极少,HQ-50 的 40 个已解问题中最多解决 7 个,联网成功则主要源于检索已发表题解。

来源:arXiv cs.AI · arxiv.org