arXiv cs.AI· Sikai Cheng, Tinghan Ye, Arnaud Deza, Xiaonan Qi, Miao Li, Litong Liu, Changkun Guan·· 3 天前AI 评分36
DecompGym：评测 LLM Agent 设计分解算法的能力
DecompGym: Benchmarking LLM Agents on Designing Decomposition Algorithms
AI 导读
研究人员推出评测基准 DecompGym，用于评估 LLM Agent 设计与实现 Benders 分解和列生成两类优化算法的能力。该基准包含 9 个问题族的 81 个实例，针对 12 款 GPT、Claude 和 Gemini 模型展开测试，要求在 60 秒限时与 1% 目标值误差内通过代码方法审查。测试显示首轮有 2 款模型解出全部实例，引入错误诊断的反思机制可将重试成功率提升至 66%。
来源：arXiv cs.AI · arxiv.org