跳到正文
原文
arXiv cs.AI· Bo-Yu Chen, Zhi Zhou, Yu-Feng Li·· 7 天前AI 评分45

SkillShift-Bench:评测环境演化下 Web 智能体技能学习的基准

SkillShift-Bench: Benchmarking Skill Learning under Environment Evolution for Web Agents

AI 导读

研究人员推出首个在受控开放环境变化下评估技能学习的基准 SkillShift-Bench,用于测试 Web 智能体面对环境演化时的鲁棒性。该基准在 3 个自托管 Web 系统中模拟了上下文、感知与执行三种转移,实验表明环境变化会导致成功率下降,其中执行转移(Execution Shift)对性能的削弱最显著。团队还提出一种测试时自适应方法,无需重新学习技能库即可改善执行表现。

来源:arXiv cs.AI · arxiv.org