arXiv cs.AI· Huaiming Li, Can Huang, Chufan Wu, Danyu Liu, Xiaomin Yuan, Qinze Li, Yui Lo, Wenhui Bai, Qianlong Wang, Zengle Ge, Xiyu Yan, Yuheng Cheng, Jinhui Ren, Guokai Chen, Jiaqun Liu, Haoran Li, Qianhui Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen·· 19 天前AI 评分45
FDE-Bench：评测未明确真实业务需求端到端交付的全新基准
FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests
AI 导读
研究人员推出 FDE-Bench，这是首个基于真实客户项目构建的基准，用于评估 AI 智能体在需要交互式需求澄清与迭代优化下的端到端交付能力。该基准包含涵盖组合优化与机器学习的 49 个案例，由智能体向模拟客户澄清需求并交由特定评估器验收。在 18 种智能体配置测试中，最高平均交付得分仅为 0.5510（FDE 参考值为 1.0），最高交付成功率仅有 6.12%。
来源：arXiv cs.AI · arxiv.org