arXiv cs.AI· Nicholas Saban, Charvi Bannur, Mariya Vasileva, Darshan Deshpande·· 15 天前AI 评分43
GlobeBench：评估用于可扩展环境模拟的基于文本的世界模型能力
GlobeBench: Evaluating Text-Based World Model Capabilities for Scalable Environment Simulations
AI 导读
研究人员推出基准评测 GlobeBench，包含跨 5 个领域和 19 项模拟技能的 1,632 个任务，用于评估基于文本的世界模型预测环境状态转移的能力。在评测的 20 款通用 LLM 与专用模型中，GPT-6 Astra 以 49.57% 的任务成功率位居第一。当动作变更需传播到相关联对象时，所有模型平均成功率降至 5.1%，且有 631 个任务未被任何模型攻克。
来源：arXiv cs.AI · arxiv.org