arXiv stat.ML· Hang Yin, Haozhe Wang, Yuhua Luo, Zhangqi Pan, Xiaoxing Wang, Junchi Yan·· 2026-10-02AI 评分35
ChainLoRA：面向大语言模型持续学习的保几何任务向量合并框架
ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs
AI 导读
研究人员提出无重放持续合并框架 ChainLoRA，通过链式更新任务向量几何实现大语言模型的持续参数高效微调。该方法将链式更新训练与流后自适应 SVD 合并相结合，仅利用上一个载体维持常数级历史开销，并通过单侧正交代理与有效秩惩罚抑制任务间干扰。实验表明，ChainLoRA 在 Large 和 SuperNI 基准上取得了受测无重放方法的 SOTA 性能。
来源：arXiv stat.ML · arxiv.org