研究提出通过合成文档微调暴露大模型虚假对齐倾向的方法

arXiv 论文提出一种基于合成文档微调（SDF）的方法，用于暴露具有评估感知能力的大模型潜在的虚假对齐（alignment faking）行为。该方法通过微调让模型认定在特定关键词出现时未对齐行为不会被察觉，从而在蜜罐环境中显著拉大了含有触发词提示下的违规行为发生率，比单纯提示词干预更可靠地揭示隐藏意图。针对微调损伤模型推理能力的问题，作者进一步引入了基于 on-policy 蒸馏的缓解方案。