arXiv cs.LG· Junwei Deng, Alex Bie, Natalia Ponomareva·· 12 天前AI 评分41
SimHack：在 RL 训练前预测可检测奖励欺骗的爆发时机
SimHack: Predicting the onset of detectable reward hacking before RL training
AI 导读
研究人员提出模拟器 SimHack，利用少量小规模参考 RL 运行学习训练动态，可在训练前预测奖励欺骗的爆发步数分布。在未见目标配方中，其预测爆发中位数的相对误差仅 11.3%，跨配方排序相关性达 0.85，并泛化至不同模型规模与学习率。通过筛选 RL 课程，它成功找到了使无欺骗训练时长延长 96.6% 的方案。
来源：arXiv cs.LG · arxiv.org