arXiv cs.LG· Austin Meek, Kyle Cox, Matthew Nguyen, Austin J. Brockmeier, Steven Basart·· 12 天前AI 评分44
通过表征工程缓解真实场景中的奖励作弊
Mitigating Reward Hacking in Realistic Scenarios Through Representation Engineering
AI 导读
一项新研究提出利用表征工程动态干预潜在表征，在工具调用和长上下文等真实场景中低成本、显著缓解了模型的奖励作弊问题。该方法结合均值差、梯度优化与参考规范提取引导向量，相比均匀向量相加扰动更小，且不明显损害模型连贯性与能力。此外，在编程环境中提取的引导向量还能跨领域泛化，为生产系统的隐空间监控与控制提供了新路径。
来源：arXiv cs.LG · arxiv.org