arXiv cs.AI· Jian Yang, Peilin Liu, Xiaohan Li, Songda Li, Yu Cao, Yuqing Feng, Haomin Li·· 7 天前AI 评分53
审计罕见病诊断大模型系统中的评估偏差与数据泄漏
Auditing evaluation artifacts and data leakage in large language model systems for rare disease diagnosis
AI 导读
研究团队基于超 60,000 例临床病例开展实证审计，发现当前大模型在罕见病诊断上的高准确率多源于数据泄漏而非真实医学推理。在引入严格的跨数据集隔离后，前沿智能体框架的跨数据集平均 Recall@1 从 54.3% 降至 40.3%，监督分类器准确率也从 42.9% 骤降至 16.7%。研究还量化了大模型利用病历回顾性治疗线索等评估假象，并提出了标准化的医疗 AI 防泄漏评估框架。
来源：arXiv cs.AI · arxiv.org