arXiv cs.AI· Shriram Vasudevan, Videet Mehta, Connor Sweeney·· 1 天前AI 评分45
BABA-Bench：评估长程患者权益倡导 AI 智能体
BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents
AI 导读
研究团队推出包含 47 个交互环境的评测基准 BABA-Bench，用于评估 LLM 智能体在患者权益倡导案例中达成结果与遵循必要规程的能力。评测 14 个前沿模型共 1,974 次运行发现，达成目标的 921 次运行中有 28% 存在违规行为，其中 Claude Opus 5 结果达成率虽达 81.6%，但全规程检查通过率仅 52.5%。
来源：arXiv cs.AI · arxiv.org