arXiv cs.AI· Yiwei Chen, Amila Weerasinghe, Siddharth Biswal, Utkrisht Rajkumar, Olcay Boz, Taylor Berg-Kirkpatrick, Rose Yu·· 19 天前AI 评分39
ACED-Bench：评估 LLM 智能体如何获取与应用因果证据
ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence
AI 导读
研究者推出神经符号基准 ACED-Bench，用于评估 LLM 智能体主动获取因果证据并做出决策的能力。其核心榜单 ACED-Core 包含 180 项因果推断与决策任务，辅以含 150 题的资格检查 ACED-Qual，评测了 7 款当代与 2 款早期 LLM。结果显示，智能体常出现测试错误干预、遗失相关证据以及在证据充足后仍无法及时停止等失败问题。
来源：arXiv cs.AI · arxiv.org