arXiv cs.AI· Bo-Yu Chen, Zhi Zhou, Yu-Feng Li·· 7 天前AI 评分45
SkillShift-Bench:评测环境演化下 Web 智能体技能学习的基准
SkillShift-Bench: Benchmarking Skill Learning under Environment Evolution for Web Agents
AI 导读
研究人员推出首个在受控开放环境变化下评估技能学习的基准 SkillShift-Bench,用于测试 Web 智能体面对环境演化时的鲁棒性。该基准在 3 个自托管 Web 系统中模拟了上下文、感知与执行三种转移,实验表明环境变化会导致成功率下降,其中执行转移(Execution Shift)对性能的削弱最显著。团队还提出一种测试时自适应方法,无需重新学习技能库即可改善执行表现。
来源:arXiv cs.AI · arxiv.org