arXiv cs.AI· Jonathan F. Jao, Andrew Kyle Lampinen·· 3 天前AI 评分42
Value Probes:用于束搜索红队审计的学习型价值函数
Value Probes: Learned Value Functions for Beam-Search Red Teaming
AI 导读
研究团队提出 Value Probes,通过对目标模型激活进行线性探测预测未来奖励,并结合束搜索优化语言模型的自动化红队审计。在 18 种目标行为和 3 种模型规模测试中,该方法比 token 匹配的标准审计将峰值得分提升约 50%。该探测器还可利用较小模型的离策略数据拟合,提供了性能相当且更高效的审计替代方案。
来源:arXiv cs.AI · arxiv.org