arXiv cs.AI· Shan Peng, Shuaiqi Cheng, Miao Peng, Chenyi Zi, Jia Li·· 8 天前AI 评分52
论文提出 DMAIC-Bench 基准评估智能体在多阶段分析中的自我约束能力
DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks
AI 导读
研究团队提出新基准 DMAIC-Bench，用于评估大语言模型智能体在多阶段分析任务中依据中间证据停止、转向或继续的自我约束能力。测试 6 家供应商的 13 个模型发现，智能体在继续执行（GO）时的路由准确率达 92%，但在应当终止（NO-GO）时仅有 19%，普遍存在报告正确诊断却违规执行下游计算的问题。
来源：arXiv cs.AI · arxiv.org