arXiv cs.AI· Mingxuan Li, Huanzhi Mao, Ruitao Zheng, Jarod Stanbury James, Yunze Li, Natanya Anderson, Joseph E. Gonzalez, Alex Dimakis·· 11 小时前AI 评分46
SlackBench：基于真实代码仓库协作场景的 AI 智能体评测基准
SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories
AI 导读
研究人员推出评测基准 SlackBench，用于在结合工作场所多方沟通与 GitHub 代码仓库演进的真实协作场景下评估 AI 智能体能力。该基准包含 140 个查询任务，涵盖跨异构源搜索、长对话情境推理以及对不可回答或错误前提问题的弃权处理。在对 33 个前沿模型与 Agent 框架的评测中，最佳系统得分约为 80%，多数智能体得分低于 66%。
来源：arXiv cs.AI · arxiv.org