arXiv cs.LG· Wenqi Li, Bin Liu, Mindi Ruan, Chuanbo Hu, Minglei Yin, Xin Li·2026-10-08 12:00· 26 天前AI 评分45

条件准确率画像（CAP）：跨部署条件诊断 LLM 裁判

Conditional Accuracy Profiles: Diagnosing LLM Judges across Deployment Conditions

AI 导读

研究者提出条件准确率画像（CAP）事后诊断框架，将成对 LLM 裁判的准确率分解为内容敏感性、鲁棒性和推理质量等 8 项条件，揭示综合准确率掩盖的表现差异。在 6 个基准与 7 个 LLM 裁判的测试中，对遗漏限定词最敏感的裁判总准确率却位列倒数前三。

来源：arXiv cs.LG · arxiv.org