arXiv cs.LG· Daniel Cie\'slak, Jacek {\L}ubi\'nski·· 12 天前AI 评分43
更优策略反致验证器审计恶化:策略内审计崩溃机制与修复
Better Policies, Worse Verifier Audits
AI 导读
研究表明,在后训练与测试时计算循环中,随着策略性能提升,针对整体成功标签审计组件验证器会导致“策略内审计崩溃”,使审计可能选出更差的验证器。该失效机制会降低策略外 $F$-AUC,将损害转移至未见过的生成器并增加下游约束违规。研究提出了受控混合审计修复方案,通过在评估与更新分布中保留验证器自身失败样本来消除这一问题。
来源:arXiv cs.LG · arxiv.org