arXiv cs.AI· Michael Hardy, Ruhana Azam, Anka Reuel, Mykel Kochenderfer, Sanmi Koyejo·· 2026-10-02AI 评分49
Agent 评测可靠性研究:增加任务并不总能改善排行榜
Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard
AI 导读
研究提出用于 Agent 排行榜的贝叶斯方差分解框架并测试了 22 个基准,发现单纯增加评测任务无法解决模型排名不确定性。固定模型与脚手架系统的排名可靠性达 0.935-0.994,但底层模型可靠性仅 0.148-0.841,无限增加相似任务最多只能提升 0.097。聚合多样化基准则可在相同预算下将可靠性从 0.44 提升至 0.75,并降低至多 83% 的成本。
来源:arXiv cs.AI · arxiv.org