arXiv cs.AI· Marilyn Zhang, Tianfeng Chen, Patricia M Pechter, Mark E. Whiting·· 13 天前AI 评分56
研究提出 SelfDx 基准,评估大模型在紧急医疗自诊中的盲目附和问题
When Health Assistants Agree Too Readily: A Benchmark of Time-Critical Self-Diagnosis
AI 导读
研究团队推出成对基准 SelfDx,用于评估大模型在涉及紧急医疗救治的自诊提问中是否存在不当顺从用户的问题。评测 27 个前沿模型发现,即便表现最好的模型在紧急病情案例中的适度警惕率也仅为 77.0%;相比会削弱合理认同率的提示词调整,基于 128 个平衡样本的监督微调能有效平衡警惕与正常认同。
来源:arXiv cs.AI · arxiv.org