arXiv cs.LG· Pranay Kothari·· 29 天前AI 评分48
ArrivalBench:Agent 生成的数据管道单次运行正确但在时间变化下出错
ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
AI 导读
ArrivalBench 针对 AI Agent 生成的数据管道提出对抗性重放评测,检验其在记录延迟、重复和乱序下的表现。在 40 项任务中,传统单次快照测试认证了 11 个模型生成的 86-100% 管道,但 ArrivalBench 重新执行发现其中 7.0-79.2% 存在隐蔽的静默错误。研究还发现所有模型中幂等性隐患的失败率均高于排序隐患。
来源:arXiv cs.LG · arxiv.org