arXiv cs.LG· Zijie Liu, Zhen Tan, Charles Fleming, Tianlong Chen·· 12 天前AI 评分39
通过知识重塑对抗持续领域自适应中的灾难性遗忘
Combating Catastrophic Forgetting in Continual Domain Adaptation via Knowledge Recasting
AI 导读
研究提出 Skill Schema Transport（SST）后训练框架，通过将新知识转译至模型已有技能空间实现程序复用，以解决持续领域自适应中的灾难性遗忘。在两个 3B 指令微调模型上，SST 将流式领域的平均最终性能提升 2.53 至 5.75 分。在 Qwen-3B MATH 流上，该方法将最大遗忘降幅从 42.41 分降至 7.10 分，并大幅恢复了 OOD 退化。
来源：arXiv cs.LG · arxiv.org