论文揭示数据科学智能体中的静默失败

研究人员针对数据科学智能体展开系统评估，指出仅依赖下游预测指标和代码正确性会掩盖数据泄露与不当验证等方法论缺陷。通过跨 220 个数据科学任务的分析与测试套件验证，研究发现绝大多数智能体方案均存在至少一种失败模式，且数据泄露与高预测表现正相关。对比 Kaggle 竞赛专家方案，现有智能体在解决问题的创造力与领域知识上仍存在明显不足。