arXiv cs.LG· Lingxiang Wang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng·· 25 天前AI 评分34
通过奇异向量选择平衡大语言模型持续学习的稳定性与可塑性
Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning
AI 导读
研究者提出大语言模型持续学习方法 SVC，将奇异向量通道作为平衡稳定性与可塑性的基本单元，以缓解领域自适应过程中的灾难性遗忘。微调前，SVC 分别评估各通道的适应收益与遗忘成本，并通过拐点筛选、Pareto 前沿过滤和 Otsu 阈值自适应选择可训练通道。在 4 个大语言模型家族和 8 个下游任务上的实验表明，SVC 相比现有 PEFT 基线能更好保留预训练能力并取得出色的下游表现。
来源：arXiv cs.LG · arxiv.org