arXiv cs.AI· Yusheng Zhao, Bowei He, Xue Liu, Mingxiao Li·· 3 天前AI 评分43
SciGame：让 AI 智能体在真实与反事实世界中展开科学发现博弈
SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World
AI 导读
研究者推出科学发现评测基准 SciGame，将科学文献转换为结构化卡片，并构建成对的原始及量纲一致的反事实环境。该基准包含经典定律的历史集合与模型知识截止期后的时序集合，支持候选引导识别与开放式发现两种评估设定。对 5 款前沿模型的测试表明，熟悉先验在规律改变时会削弱表现，还原精确符号形式仍是当前的核心瓶颈。
来源：arXiv cs.AI · arxiv.org