arXiv cs.AI· Mohammad Reza Rezaei, Dingxian Wang, Brett Levert, Celeste Fejzo, Andrew Rabinovich, Zhao Chen·· 11 小时前AI 评分49
PAYWORTHY：大语言模型能否预测 AI 智能体可完成哪些自由职业任务？
PAYWORTHY: Can LLMs Predict Which Freelance Jobs an AI Agent Will Complete?
AI 导读
PAYWORTHY 基准包含 1494 个真实自由职业任务，测试 18 个大语言模型能否预先预测 AI 智能体能否成功完成工作。实验显示，明确告知智能体能力局限时模型能有效预测（AUC 达 0.66-0.86）；仅笼统描述其功能时表现则接近随机（AUC 0.45-0.56）。该结论在 Claude、GLM、Kimi 和 Qwen 裁判下均成立。
来源：arXiv cs.AI · arxiv.org