跳到正文
原文
量子位· 允中·· 26 天前AI 评分57

UniPat AI 发布科学论文复现基准 PaperBenchX,大模型完整复现率低至 13.98%

ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?

AI 导读

UniPat AI 推出多学科端到端科学论文复现基准 PaperBenchX,实测显示表现最佳的 GPT-6 Astra 完整复现率仅为 13.98%。该基准涵盖电磁、材料和生物等 12 个研究方向的 93 个复现任务,要求 AI 智能体在原生科学软件环境中独立构建工作流,并采用删掉输出、断网重跑的隔离机制验证证据链。

来源:量子位 · qbitai.com