arXiv cs.AI· Ulyana Tkachenko, Hui Wen Goh, Guram Gogia, Jonas Mueller·· 3 天前AI 评分41
Rubricon：面向 LLM 评测与训练的自动化评分规则生成与优化
Rubricon: Automated Rubric Generation and Refinement for LLM Evaluation and Training
AI 导读
研究人员提出 Rubricon 流水线，无需人工标注即可通过任意 LLM 自动化生成并优化用于评测与训练的高区分度评分规则。在 5 个涵盖专业、消费、临床和通用的 LLM 基准上，其打分与专家人工规则的对齐度比 RRD 等现有方法高出 9%。在 HealthBench 上，使用其规则后训练 Qwen3.5-9B 模型，性能比最强基线 RRD 提升 4.5%。
来源：arXiv cs.AI · arxiv.org