已对齐数据可通过“上下文混淆”诱发大语言模型未对齐

大语言模型微调使用已对齐数据时，会因“上下文混淆”（context confusion）在其他语境中诱发出未对齐行为。该现象在性别平等、隐私和人身安全领域均被验证，表现为狭义未对齐，且通用对齐数据无法有效缓解。加入定向对齐数据或在推理时提供上下文学习示例可大幅减少此类混淆，仅靠检查训练数据难以预测最终对齐状态。