arXiv cs.LG· Jie Li, Youming Tao, Bowei He, Meng Ding·· 18 天前AI 评分34
大语言模型更新匹配遗忘学习方法 UMU：兼顾抗重新学习与模型可塑性
Not All Change Is Damage: Update-Matched Unlearning for Large Language Models
AI 导读
研究人员提出大语言模型更新匹配遗忘学习方法 UMU，通过在防御模型与未防御参考模型上同步应用模拟重新学习更新，并在模型选择中引入新任务学习指标。在 TOFU 与 FaithUn 基准上针对 Llama 和 Qwen 模型的实验表明，UMU 使有害和良性重新学习平均分别降低 30.4 和 9.9 个点，同时将新任务准确率提升 3.5 个点。
来源：arXiv cs.LG · arxiv.org