arXiv cs.LG· Ayush Bansal, Aldo Pareja, Sean Klein, Serge Didenko, Artem Lukoianov·· 15 天前AI 评分52
大语言模型能否预测机器学习实验的结果？
Can LLMs predict the outcomes of machine learning experiments?
AI 导读
最新研究评测了前沿大语言模型预测机器学习实验结果的能力，发现模型预测水平显著优于随机猜测但仍远不够准确。研究基于 MLE-bench 构建了包含 288 个实验构想的数据集并测试了五款前沿模型，表现最好的 Claude Opus 5.5 解释方差仅为 R²=0.49，且所有模型均系统性低估了变动幅度。团队已公开该数据集以支持递归自我改进等相关研究。
来源：arXiv cs.LG · arxiv.org