arXiv cs.LG· Pengfei Zheng·· 16 小时前AI 评分35
StrictPRMBench：用于审计固定分数 PRM 聚合的可重放评测基准
StrictPRMBench: A Replayable Evaluation Benchmark for Auditing Fixed-Score PRM Aggregation
AI 导读
StrictPRMBench 是一个审计过程奖励模型（PRM）分数聚合规则的可重放评测基准，通过固定推理池与评分证据隔离评估不同聚合器。在 7 个评分 checkpoint 与 2 个基准（N=32）的 14 个单元测试中，乘积聚合由删除干预引起的选取不稳定性均高于几何平均，等单元差异达 +0.0965。该基准提供了版本化结果记录与 CPU 重新分析协议。
来源：arXiv cs.LG · arxiv.org