arXiv cs.AI· Xing Han L\`u, Dheeraj Vattikonda, Sina Hajimiri, Fatemeh Pesaran Zadeh, Parishad BehnamGhader, Ghazwa Darwiche, Amirhossein Kazemnejad, Christopher Pal, Alexandre Drouin, Siva Reddy·· 25 天前AI 评分49
AgentHorizon：评估长流程计算机使用任务中的智能体裁判
AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks
AI 导读
研究团队推出 AgentHorizon 基准，用于评估智能体裁判在长流程计算机使用任务中的判断能力。该基准涵盖跨 3 个操作系统的 166 小时真人轨迹与 1,373 个任务，轨迹最多含 300 张截图与动作。评测显示表现最优的智能体裁判 GPT-5.5 在 AH 子集取得 80.9% 平衡准确率，而工具使用反而降低了开源模型的表现。
来源：arXiv cs.AI · arxiv.org