跳到正文
原文
arXiv cs.AI· Ruqi Chen, Zilei Wang, Wei Wang·· 11 天前AI 评分43

ARCANA:抽象与类比推理评测基准

ARCANA: A Benchmark for Abstraction and Analogical Reasoning

AI 导读

研究团队推出类比推理评测基准 ARCANA,测试从现实物体或物理现象到抽象网格变换的远距离类比映射能力。评测显示人类能可靠完成该任务,而主流 LLM 存在显著差距并暴露出系统性失效。为此提出的 ConceptSIR 推理框架助力标准 LLM 解决了直接提示词无法解答的任务,相关代码和数据均已开源。

来源:arXiv cs.AI · arxiv.org