arXiv cs.LG· Eray Turkel, Mengsha Sun, Kartik Ayyar, Sean Dunigan, Jack Lu, Vlad Shcherban, Hsiang-Shun Shih, Xin Wang, Tiantian Zhang·· 29 天前AI 评分46
OpenGameEval：在有状态游戏引擎中评测智能体编程与探索能力
OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine
AI 导读
OpenGameEval 是一个在 Roblox Studio 中评估 AI 智能体游戏开发与探索能力的基准框架，现已以 MIT 协议开源。该基准提供 8 种操作工具以分离观察与编辑行为，并在 84 个核心任务上评测了 13 个前沿模型。结果显示最佳模型单次通过率为 51.7%，且提前检查目标对象的探索行为在纯场景任务中使通过率高出 13.4 个百分点。
来源：arXiv cs.LG · arxiv.org