arXiv cs.AI· Justin Clarke, Isha Karn, Patrick Murray, KJ Hill, David Jensen·· 3 天前AI 评分45
评估 LLM 因果推理：程序化生成挑战的案例研究
Evaluating Causal Reasoning in LLMs: A Case Study in the Challenges of Procedural Generation
AI 导读
研究指出，LLM 在因果推理基准 CLadder 上的高分表现主要源于生成器内嵌的肤浅模式，而非真正具备复杂的形式因果推理能力。实验显示，随机森林等简单模型在 CLadder 生成的数据集上训练后同样表现优异。此外，直接删除对形式因果推理至关重要的核心文本后，商业 LLM 的表现几乎不受影响，证明其推理性能极具脆弱性。
来源：arXiv cs.AI · arxiv.org