跳到正文
原文
arXiv cs.AI· Priyanath Maji, Spandan Ghose Chowdhury·· 2026-10-01AI 评分36

风险感知自适应评测:在有限预算下发现高影响故障

Risk-Aware Adaptive Evaluation: Finding High-Impact Failures Under Limited Budgets

AI 导读

研究提出一种用于交互式 AI 智能体的风险感知情境 Thompson Sampling 评测策略,通过自适应分配测试预算优先挖掘高影响故障。在 70 个 $\tau$-bench 航空场景实验中,仅用 50 次测试(语料库的 6%)即找回 86% 的影响加权故障,发现量达均匀分配的 3.5x。该策略提供 5x 的单成本发现效率,并将零故障场景的预算浪费从 34% 降至 2.8%。

来源:arXiv cs.AI · arxiv.org