arXiv cs.LG· Wei Zhai, Xiang Liu, Qiang Huang, Rui Qian, Lemao Liu, Ziwei Li, Ziqi Wang, Zhitao Huang, Dejing Dou·· 25 天前AI 评分34
Nullify：基于零空间激活引导的免训练大语言模型机器遗忘方法
Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning
AI 导读
研究人员提出名为 Nullify 的免训练、非破坏性激活引导方法，用于实现大语言模型（LLM）的机器遗忘。该方法在推理阶段利用引导向量偏移隐私相关激活，同时施加零空间约束以避免影响保留查询的激活，完全无需更新模型权重。在 TOFU 和 MUSE 基准上的评测显示，Nullify 在遗忘质量上达到或超越既有基线，并近乎无损地保留了模型效用。
来源：arXiv cs.LG · arxiv.org