arXiv cs.AI· M. Mikail Demir·· 11 天前AI 评分40
选择还是弃权？System One 决策模型、LLM 与缺失法律依据
Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority
AI 导读
一项研究对比了 System One 决策模型与生成式 LLM 在法律判例缺失时的弃权表现。在扩展的 CaseHOLD 测试中，当缺乏正确裁决时，生成式 LLM 在 38%-86% 的项目中仍会强行作答，而最谨慎的决策模型仅为 30%。在标准 CaseHOLD 上，决策模型以 1/55 的成本达到了与最佳生成式 LLM 相当的准确率（88.1% 对 88.2%），二者配合可将错误引用减半。
来源：arXiv cs.AI · arxiv.org