arXiv cs.LG· Junkang Liu·· 29 天前AI 评分36
MuLoRA：面向持续学习的谱平衡低秩自适应
MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning
AI 导读
MuLoRA 针对持续学习中 LoRA 的谱可塑性崩塌问题，提出联合控制容量分配与利用的谱平衡低秩自适应机制。该方法通过历史白化构建任务自适应基，并结合动量更新的近似极正交化减少谱集中。在 5 个类增量基准和 8 个增量设置的评测中，MuLoRA 在 16 项指标中的 15 项均取得了最高平均准确率。
来源：arXiv cs.LG · arxiv.org