防御知识蒸馏的黑魔法：无监督发现潜意识学习

研究人员提出一种防御大语言模型知识蒸馏潜意识学习的新方法，仅凭参数更新即可在无监督且无需预先知晓特征标签的情况下发现并恢复隐蔽传递的未对齐特征。该方法利用教师模型特征在多样化生成数据中表达一致的不对称性构建权重空间估计器，既能放大方向用于解释特征，也能将其投影消除以抑制表达。在基准测试中，该方法成功恢复了传递的偏好特征并抑制其表达，且几乎不影响任务性能。