通过对抗探针训练实现大模型对齐且不丧失可监控性

研究提出探针引导微调（probe-guided fine-tuning），直接利用检测模型内部激活不良属性的探针作为训练信号以实现对齐。采用持续更新探针的方法比 DPO 和推理期引导具有更好的安全与实用性权衡，且能更强力地防御越狱和 abliteration 攻击。微调后相关概念仍保持线性编码，确保了对模型内部表征的可监控性。