arXiv cs.AI· Guorui Chen, Tao Liu, Zhenzhen Huang, Yidan Zhang, Liyu Jiang, Shuoyuan Wang, Hanchen Sun, Xu He, Dong Li, Yihan Hu, Jianye Hao, Lei Feng·· 13 天前AI 评分53
MemDev-Bench:基于真实仓库历史评估记忆系统对代码智能体的影响
MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories
AI 导读
研究团队推出 MemDev-Bench 基准,构建了覆盖 555 个基础任务与 4,869 个关联历史任务的可执行评测环境,系统评估记忆系统对代码智能体的实际影响。评测发现记忆机制虽能改善细粒度代码定位与编辑,但也容易因智能体未重新评估经验适用性而引发错误;相比高度压缩的记忆系统,直接提供原始历史轨迹反而能借助完整过程信息大幅减少智能体的操作步骤。
来源:arXiv cs.AI · arxiv.org