arXiv cs.AI· Haodong Chen, Shengtao Wen, Dong Liang, Lingbing Guo, Xiang Chen·· 19 天前AI 评分34
解耦多模态大语言模型遗忘中的知识遗忘与拒绝学习
Decoupling Knowledge Forgetting and Refusal Learning in MLLM Unlearning
AI 导读
研究人员提出 Forget-Aware Self-Distillation（FASD）方法，通过解耦知识遗忘与拒绝学习来解决多模态大模型遗忘中的幻觉与信息泄漏问题。该方法将目标拆分为行为通道与知识通道，前者通过掩蔽目标 token 的自蒸馏学习合理拒绝，后者独立抑制真实答案跨度。实验表明，FASD 成功遗忘目标知识并防止信息泄漏，同时保留了非目标数据的性能，相关代码和数据将在正式发表后开源。
来源：arXiv cs.AI · arxiv.org