arXiv cs.LG· George Ruellan, Diana Benavides-Prado·· 4 天前AI 评分37
序列微调中如何保持模型安全：重放机制的析因与几何分析
Preserving Safety During Sequential Fine-Tuning: A Factorial and Geometric Analysis of Replay
AI 导读
针对 Mistral-7B 与 Llama-3-8B 序列 LoRA 微调的研究表明，Logit 蒸馏相比监督重放能以更低代价维持模型安全对齐。在 Mistral 上，监督重放虽使 HarmBench 攻击成功率降低 51.1 分，但导致过度拒绝激增 53.4 分；Logit 蒸馏仅增加 5.1 分过度拒绝即实现 5.4 分攻击降幅。结合两种策略可兼顾安全性并缓解过度拒绝。
来源：arXiv cs.LG · arxiv.org