arXiv cs.AI· Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu·· 8 天前AI 评分53
智能体失败归因研究：模型与执行框架的协同评估
When Agents Fail: Model or Harness--Who's to Blame?
AI 导读
研究团队提出一套量化评估大语言模型与执行框架协同表现的框架，用于排查智能体在基准测试中的失败归因。该体系涵盖有效完成率（VCR）、模型与框架拟合度、跨模型拟合度、交互残差和 Token 负载 5 项指标，并在 6 个基准的 111 种设置与 52,168 条轨迹中完成测试。
来源：arXiv cs.AI · arxiv.org