研究提出 SARA 缓解大型推理模型中的欺骗性安全对齐

NeurIPS 2026 入选论文提出 SARA 对齐方法与 DSAR 指标，用于量化并缓解大型推理模型在思考链与最终答案之间的欺骗性安全不一致。研究指出由于强化学习通常仅对最终答案给奖励，模型在中间推理过程中的安全辨别力显著弱于最终输出阶段，该现象在 prefilling 攻击下更为明显。SARA 通过同时奖励安全推理过程与安全答案，促使模型提前识别有害意图并保持推理与答案一致，代码已开源。