arXiv cs.LG· Zinan Ling, Yang Xiao, Ruimeng Ye, Sijia Liu, Bo Hui·· 19 天前AI 评分35
RA$^2$：利用保留锚定吸引在 LLM 遗忘学习中保留邻近遗忘效用
RA$^2$: Retain-Anchored Attraction Preserves Forget-Adjacent Utility in LLM Unlearning
AI 导读
研究提出大语言模型隐空间遗忘学习方法 RA$^2$（Retain-Anchored Attraction），将遗忘 token 状态重定向至邻近保留表示，以解决模型在临近遗忘领域提示词下良性推理退化的问题。在 WMDP 和 MUSE 测试中，RA$^2$ 在保持相似广泛效用水平的同时，取得了优于强基线模型的邻近遗忘效用，相关代码已开源。
来源：arXiv cs.LG · arxiv.org