arXiv cs.LG· Junwei Quan, Evgenii Opryshko, Rohan Subramani, Igor Gilitschenski·· 25 天前AI 评分39
RH-Detect：奖励作弊检测统一基准
RH-Detect: A Unified Benchmark for Reward Hacking Detection
AI 导读
研究人员推出奖励作弊检测统一基准 RH-Detect，整合 11 个公开数据集共 92,761 行数据与 6 种行为类别，涵盖多轮工具调用轨迹等 5,021 个评估单元。评测显示现成大语言模型最高取得 0.962 的汇总 AUROC 与超 93% 的准确率，但在 MALT 和 TRACE 两个多轮工具使用场景下准确率下降 10.7-15.9 个百分点。
来源：arXiv cs.LG · arxiv.org