arXiv cs.LG· Gowthamkumar Nandakishore·· 27 天前AI 评分34
CLM-as-a-Judge：在公开裁判基准上评估开源对比决策模型
CLM-as-a-Judge: Evaluating an Open Contrastive Decision Model on Public Judge Benchmarks
AI 导读
评测显示开源对比决策模型 CLM-v0.1-8B 在公开裁判基准上的表现接近随机水平，远落后于同参数量的奖励模型（0.764 至 0.976）与生成式裁判（0.611 至 0.778）。尽管其决策翻转率仅 0.0002 且校准后期望误差降至 0.062，但在 0.97 保留阈值下，置信度级联机制仍会将 0.923 至 1.000 的测试项升级转交给更强裁判。
来源：arXiv cs.LG · arxiv.org