arXiv cs.LG· Liam Davis, Romain Emil-Popescu, Suman Jana·· 19 天前AI 评分43
大语言模型回答了该问题吗?用于越狱评测的语义重构博弈
Did the LLM Answer the Question? A Semantic Reconstruction Game for Jailbreak Evaluation
AI 导读
研究人员提出一种免训练的越狱评测器“语义重构博弈”,旨在解决仅更换评测大语言模型就会使攻击成功率(ASR)变动高达 82 个百分点的不稳定问题。该方法仅依据模型回复的实质内容反向重构对应请求,并通过与诱饵请求对比来判断是否匹配原始违规请求,同时允许弃权。在三款现成大语言模型评测器测试中,该方法在人类标签对比中平均误差最低并显著降低 ASR 波动,优先避免假阳性。
来源:arXiv cs.LG · arxiv.org