arXiv cs.AI· Timoth\'ee Lesort, Alejandra L\'opez de Aberasturi G\'omez, Tristan Karch, Tom Veniat, Philippe Modard, Karl Tuyls, Ludovic Denoyer·· 2026-10-02AI 评分35
用国际象棋评测大语言模型的提示词优化
Benchmarking Prompt Optimization of Large Language Models With Chess
AI 导读
研究人员推出基于 1,118 道 Lichess 残局的国际象棋基准，用于评测 6 种自动提示词优化（APO）算法在 8 个大语言模型上的表现。评测中最强的 Gemini 3.5 Flash 解题率仅约 55%，基准可测试优化提示词跨模型迁移及棋局实战的效果。该基准支持题目动态更新防污染，完整运行成本约 $800，相关代码与题目集均已开源。
来源：arXiv cs.AI · arxiv.org