arXiv cs.AI· Yixuan Li, Yiyun Zhou, Yao Long Teng, Fuchao Yang, Yanchen Deng, Zhiyi Lyu, Xuyu Dong, Feng Chen, Bo An·· 2026-10-02精选AI 评分64
智能体任务中的模型与运行框架交互:如何实现最佳适配
Finding the Right Fit: Model-Harness Interactions across Agent Tasks
AI 导读
一项新研究对 66 种大语言模型与运行框架的组合展开评测,发现智能体任务中的模型表现排名会随框架切换而大幅反转。在 Terminal-Bench 4 测试中,Claude 在 OpenHands 框架下领先 GPT 7.94 分,但在 PI 框架下却落后 30.16 分,且厂商自带框架与更高花费并不能保证更优成绩。
推荐理由
该研究通过实测指出模型性能高度依赖智能体框架的交互反馈机制,读者在选型时需将模型与框架协同评估。
来源:arXiv cs.AI · arxiv.org