arXiv cs.AI· Jiakai Xu, Tiancheng Ge, Tujie Guan, Yusheng Li, Rohan Timmaraju, Eugene Wu, Kostis Kaffes·· 18 天前AI 评分55
Probe-and-Resume：何时以及如何评估智能体执行
Probe-and-Resume: When and How to Evaluate Agent Execution
AI 导读
研究人员提出面向终端计算机使用环境的 Probe-and-Resume 评估机制，仅在智能体认为任务完成时调用评论家并允许其在分叉环境中执行探测操作，若未通过则恢复执行。实验显示传统 MCTS 的评论家在中间状态很难提供有效判断，而该机制在 Terminal-Bench 2.1 上比传统评论家 MCTS 成功率提升 8.4 个百分点，以不到一半的成本接近同底座 Codex CLI 的成功率。
来源：arXiv cs.AI · arxiv.org