跳到正文
原文
arXiv cs.AI· Mohammed Saqlain·· 11 天前AI 评分47

真实 PMID 与错误论文:生物医学主张验证智能体的架构设计研究

Real PMIDs, Wrong Papers: Harness Design for Biomedical Claim-Verification Agents

AI 导读

针对生物医学主张验证智能体的对照研究表明,检索而非推理是主要瓶颈,闭卷模型引用的真实 PubMed ID 中仅 3/327 相关。自主编写 PubMed 查询的 ReAct 智能体将金标准召回率提升 3 倍并实现 62% 准确率,引用相关率达 67%。直接提供金标准摘要时准确率达 79-86%,证明仅验证引用存在并不安全;相关代码已开源。

来源:arXiv cs.AI · arxiv.org