arXiv cs.AI· Siddharth Jain, Venkat N. Vedam·· 6 天前AI 评分42
监控准确率并非关键：评估 AI Agent 重启监控器的决策价值框架
Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
AI 导读
研究提出评估 AI Agent 重启监控器的决策价值框架，指出固定 90% 准确率的监控器其成功率净收益可在 -5 到 +35 个百分点之间摆动。该框架引入决策充分性准则与无需额外调用的无模型决策审计方法。在 SWE-bench Verified 的 194 次执行实验中，重启在另一模型上造成 42.29 个百分点损失，且 103 次对比均未达认证标准。
来源：arXiv cs.AI · arxiv.org