The Decoder· Jonathan Kemper·· 10 天前AI 评分73
研究发现复杂框架大幅推高编码智能体成本却未见性能提升
Fancy harnesses make coding agents more expensive but not better, study finds
AI 导读
Liu 与 Han 的最新研究表明,为编码智能体配备复杂的运行框架会大幅增加推理成本,但在基准测试中并未带来显著的性能提升。在 SWE-bench Verified 评测中,配置庞大系统提示词的 Claude Code 与仅包含基础 Bash 工具的 mini-SWE-agent 成绩差异在 2 个百分点以内,完全处于单次运行的测量噪声区间。
来源:The Decoder · the-decoder.com