基于本体与推理机验证的科学 AI 大语言模型推理评测基准

研究者提出一种从 OWL 2 本体自动生成多选题基准的流程，干扰项经 OWL 推理机形式化验证，用于评测大语言模型的科学逻辑推理能力。该流程在 Pizza、PMDco 和 DOID 本体上分别生成 112、2,491 和 15,216 道题目。对 6 款大语言模型的零样本评测显示准确率为 41.1% 至 76.8%，体现出高挑战性与区分度。