AGORA：基于项目反应理论的 LLM 裁判可靠性感知聚合方法

研究者提出基于项目反应理论的聚合框架 AGORA，无需人工标注即可联合学习各 LLM 裁判的可靠性，解决多裁判水平参差不齐的问题。AGORA 将评估项映射到潜在质量标度并以此表征裁判，在 3 个 benchmark 上的表现达到或超越 Dawid-Skene，且在样本规模缩小至数百项的小数据集上优势更为明显。