arXiv cs.AI· Scott C. Lowe, Sander W. Keemink·· 22 天前AI 评分56
SpireBench:利用《杀戮尖塔》评估智能体长程策略推理能力的基准测试
SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
AI 导读
研究团队推出评测基准 SpireBench,通过让大语言模型运行完整商业游戏《杀戮尖塔》(Slay the Spire)来评估其长程策略规划能力。在游戏最高难度下测试 20 款大语言模型发现,前沿模型表现可达人类平均水平但远低于专家,且随流程拉长会在局内成长和风险决策上暴露出过度保守的缺陷。测试还通过术语重命名与跨局记忆分析证实,模型部分成绩依赖游戏先验知识,而跨局自写的记忆经常出错且未带来提升。
来源:arXiv cs.AI · arxiv.org