跳到正文
原文
arXiv cs.LG· Daniel Cie\'slak, Jacek {\L}ubi\'nski·· 12 天前AI 评分43

更优策略反致验证器审计恶化:策略内审计崩溃机制与修复

Better Policies, Worse Verifier Audits

AI 导读

研究表明,在后训练与测试时计算循环中,随着策略性能提升,针对整体成功标签审计组件验证器会导致“策略内审计崩溃”,使审计可能选出更差的验证器。该失效机制会降低策略外 $F$-AUC,将损害转移至未见过的生成器并增加下游约束违规。研究提出了受控混合审计修复方案,通过在评估与更新分布中保留验证器自身失败样本来消除这一问题。

来源:arXiv cs.LG · arxiv.org