arXiv cs.AI· Oriol Miro-Lopez-Feliu, Oscar Mir\'o L\'opez-Feliu, Victor Gimenez-Abalos, Javier Vazquez-Salceda, Victor Carballo Araruna, Sergio Alvarez-Napagao·· 15 天前精选AI 评分69
新研究基于形式语义检验 LLM 智能体的规划能力
Testing the Planning Claims of LLM-Based Agents against Formal Semantics
AI 导读
一项新研究基于隐藏的 PDDL 形式语义模型，跨 5 个领域系统检验了 LLM 智能体的真实规划能力。实验测试了 4 个模型、6 种提示策略与 3 种架构，结果显示最佳配置离线仅解决 78% 的可解任务，在线环境下骤降至 40%，且对不可解任务的识别率不足 10%。较重的提示策略消耗多达 5 至 22 倍 token 却无明确收益，规划表现的差异主要来自模型本身而非策略或架构。
推荐理由
研究通过形式语义评测揭示了智能体在线规划的局限，为衡量复杂提示策略和智能体架构的真实收益提供了验证基准。
来源：arXiv cs.AI · arxiv.org