跳到正文
原文
arXiv cs.AI· Abdullah Al Kalbani, David M. Schultz, Alexandra K. Anderson-Frey, Zhonghua Zheng, Catherine McGuire·· 11 小时前AI 评分58

大语言模型能否撰写科学文献综述?基于 102 篇论文基准的评测

Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark

AI 导读

研究人员构建了基于 102 篇论文基准的全流程测试,评估了六款 AI 工具在文献检索、解读、综合与研究规划上的实际表现。测试显示机构库权限能显著提升工具的检索覆盖率,但在解读时工具将 40% 至 79% 的轻度提及误判为实质讨论,专家盲评也指出生成的综述存在引文错误、无依据论断和共识夸大问题。作者指出模型能辅助文献发现与解读,但无法替代专家的证据评估与综合判断,并提出了八条使用建议。

来源:arXiv cs.AI · arxiv.org