跳到正文
原文
arXiv cs.AI· Wenxuan Ding, Qin Lu, Changlong Yu, Sha Li, Shuowei Jin, Xin Liu, Zhenyu Shi, Greg Durrett·· 15 天前AI 评分59

Harness-Delta Attribution 协议提出:解构智能体框架演化收益来源

Harness-Delta Attribution: Dissecting Gains From Harness Evolution

AI 导读

研究人员提出 Harness-Delta Attribution(HDA)评估协议,用于剖析智能体系统在固定模型权重下优化提示词、工具与编排代码所获收益的真实构成。在涵盖 11 个执行模型与 3 个演化框架的 21 项显著提升设定中,过拟合与测试期扩展平均分别解释了 54% 和 14% 的收益。实验表明搜索集上的性能提升往往难以泛化到保留任务,仅靠验证集信号不足以防止框架演化过拟合。

来源:arXiv cs.AI · arxiv.org