arXiv cs.AI· Licheng Pan, Haocheng Yang, Haoxuan Li, Yuzhou Chen, Yichen Sun, Yuan Lu, Xiaoxi Li, Hao Wang, Zhixuan Chu, Kui Ren·· 18 天前AI 评分33
基于规则评分缺乏不确定性：面向 LLM 评测的共形加权方法 URW
Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation
AI 导读
研究人员提出无需训练的评估框架 URW，通过共形校准量化基于规则的大语言模型（LLM）评分中的标准级不确定性。该方法利用改写评判模板提取软不确定性信号，并通过具有可验证覆盖保证的 split-conformal p-values 转化为各标准的权重。实验表明，URW 能持续提升成对偏好准确率，并带来更强的下游强化学习（RL）对齐效果。
来源：arXiv cs.AI · arxiv.org