arXiv cs.LG· Nimun Bajwa, Massimo Poesio·· 11 天前AI 评分40
大语言模型安全相关行为的探测与干预研究
Probing and Steering for Safety-Relevant Behaviours in Large Language Models
AI 导读
研究人员针对 Llama-3.1-8B-Instruct 模型，评估了激活探测在欺骗、高风险意识和阿谀奉承三种安全相关行为中的检测与干预表现。实验发现逻辑回归探测在欺骗和高风险场景下更擅长检测，而均值差方向更擅长干预，但该规律在阿谀奉承任务中出现反转。相关探测器与干预方向已接入交互式界面，支持用户直接评分并干预文本输出。
来源：arXiv cs.LG · arxiv.org