arXiv cs.LG· Rodney Lafuente-Mercado, Robert Sincero, Phil Sage, Yuan Xue·· 19 天前AI 评分47
MA-Bench：评测语言模型在军事作战规划任务中的表现
MA-Bench: Measuring Operational Planning in Language Models
AI 导读
研究者推出评测基准 MA-Bench，旨在评估语言模型在无唯一标准答案下将大量、不完整且存在矛盾的文档转化为行动方案的规划能力。该基准包含 10 个专家构建的场景与 1,257 条通过/未通过要求，评测 20 款前沿及开源权重模型显示最佳模型仅答对 62% 的评分项。模型在文档陈述的事实上表现最好（58%），在推断判断上最弱（33%），且十分之六的失败源于遗漏而非错误。
来源：arXiv cs.LG · arxiv.org