arXiv cs.LG· Jeanne Salle, Hardik Bhatnagar, Matthias Bethge, Sahar Abdelnabi, Maksym Andriushchenko·· 7 天前精选AI 评分62
论文指出长程智能体基准测试出奇适应上下文压缩并存在约束丢失风险
Benchmarks Are Surprisingly Compaction-Friendly
AI 导读
一项针对长程编码智能体上下文压缩的研究指出，现有基准测试由于目标固定且进度保存在磁盘上，对信息压缩出奇宽容，但该过程会静默丢弃大量关键任务约束。研究基于 OpenCode 框架测试了五种压缩策略与三款前沿模型，发现没有任何压缩方法优于默认的自我总结，且过度丢弃内容的策略会导致部分模型性能大幅下滑 20 分。
推荐理由
这项研究揭示了现有长程基准测试对上下文压缩的宽容假象，为设计能够保留负向约束的智能体架构提供了关键实证依据。
来源：arXiv cs.LG · arxiv.org