arXiv cs.AI· Victor Shea-Jay Huang, Rongqing Li, Zhangyue Yin, Kelong Mao, Yaqi Zhao, Xinyuan Wang, Yao Yin, Lirui Luo, Renrui Zhang, Hongsheng Li·· 8 天前精选AI 评分62
SWE-Shift：评估编码智能体在动态演化工作区中表现的评测基准
SWE-Shift: Evaluating Coding Agents in Evolving Workspaces
AI 导读
研究团队推出 SWE-Shift 基准，用于评估编码智能体在执行任务过程中应对代码、依赖、状态及需求等动态变化的能力。该基准包含 12 类变动共 120 个场景并在 9 个干预点进行测试，评估的 17 个智能体在环境变动后的成功率均出现下降，其中 GPT-6 Astra 成功率从 67.35% 跌至 24.79%。测试还发现，工具或会话变动以及陈旧证据会导致所有受测系统的配对成功率归零。
推荐理由
该研究揭示了编码智能体在开发环境动态变化时难以保留工作成果与刷新状态，为动态协作场景提供了评测基准。
来源：arXiv cs.AI · arxiv.org