LoRA 在持续学习中的动力学理论

新研究构建了双任务模型中 LoRA 在持续学习下的动力学理论，通过常微分方程组精确刻画泛化误差。分析表明低秩更新虽减少旧任务干扰但会减缓新任务适应，且迁移增益达到目标任务内在维度后饱和，遗忘随 adapter rank 持续加剧。基于该机制的状态依赖掩码策略显著减轻遗忘并保留可塑性，结果在 sequential MNIST 上得到定性复现。