arXiv cs.AI· Daniel Furman, Preeya Kirani, Ibrahim Sheikh, Zhen Li, Peter Zhong, Michele Catasta·· 11 小时前精选AI 评分66
ViBench 2.0：面向长流程软件构建的评测基准
ViBench 2.0: A Benchmark for Long-Horizon Software Building
AI 导读
Replit 团队在 arXiv 提出面向长流程软件构建的评测基准 ViBench 2.0，用于评估 AI 智能体在连续功能需求下独立构建全栈产品的能力。该基准包含 17 个全栈 Web 产品和 241 个功能请求，通过浏览器智能体运行 544 个测试计划，要求所有测试全数通过才算构建成功。
推荐理由
测试长流程多需求软件构建揭示了单项测试高通过率与整体交付率之间的差距，为多步骤智能体评测提供了贴近实际工程的评估方法。
来源：arXiv cs.AI · arxiv.org