arXiv cs.AI· Zihao Zheng (Washington University in St. Louis), Junyi Yao (Washington University in St. Louis), Baichuan Li (Southern Methodist University), Jiayu Long (Washington University in St. Louis)·· 18 天前AI 评分36
医疗 LLM 智能体上报可靠性审计:工作流状态失败的扰动控制评测基准
Auditing Escalation Reliability in Healthcare LLM Agents: A Perturbation-Controlled Benchmark of Workflow-State Failures
AI 导读
研究人员构建了包含 400 个医疗工作流情境的基准测试,用于评估医疗 LLM 智能体在证据缺失或冲突时的上报可靠性。评测显示 5 种 1.7B 至 9.7B 开源权重配置在常规准确率达 0.97 的情况下,会遗漏 32% 至 97% 的必要上报。工作流感知控制器能将遗漏上报率降至 0.12 至 0.24,但在词汇压力测试中泛化能力仍受限。
来源:arXiv cs.AI · arxiv.org