arXiv cs.AI· Zhan-Yu Wu, Ji Luo, Alyssa Wu, Junjielong Xu, Richeng Xuan, Zhichao Hu, Chongming Gao, Xinting Hu·· 11 天前AI 评分48
UserSWE：在与动态用户的多轮对话中评测代码智能体
UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users
AI 导读
UserSWE 评测基准正式提出，通过基于 20,859 次开发会话校准的动态用户与逐轮代码执行裁决，评测代码智能体在多轮交互中修复仓库级 Bug 的能力。在涵盖 42 个仓库的 72 项任务评测中，11 个智能体的表现随交互预算变化：Claude Fable 5.1 单轮解决最多任务，Claude Opus 5 在多数中间预算领先，GPT-6-Astra 则在第 8 轮胜出。
来源：arXiv cs.AI · arxiv.org