arXiv cs.AI· Michal Orzechowski, Rund Tawfiq, Tomasz Kosciolek·· 3 天前AI 评分43
本体能捕获什么？人工策展、LLM 生成与数据派生本体作为知识图谱 LLM Agent 检验器的评估
What Does an Ontology Catch? Curated, LLM-Generated and Data-Derived Ontologies as Checkers of LLM Agents over Knowledge Graphs
AI 导读
一项研究对比评估了人工策展、LLM 生成及数据派生三种本体作为知识图谱 LLM Agent 检验器的表现。实验涵盖开源与闭源 Agent、公开图谱及近 $10^{9}$ 三元组的私有图谱，发现策展本体易与自身数据发生矛盾。在 UniProt 上，策展本体误报的正确答案多于其他两种本体，对真实 Agent 回答的报错精度仅略高于随机标记。
来源：arXiv cs.AI · arxiv.org