跳到正文
原文
arXiv cs.LG· Yeseul Cho, Hanseul Cho, Chulhee Yun·· 6 天前AI 评分34

多任务模型合并的误差子空间校准框架 ESCal

Error-Subspace Calibration for Multi-Task Model Merging

AI 导读

研究人员提出多任务模型合并校准框架 ESCal,通过专家与合并模型的权重差异识别低维误差子空间,以精确定位并修正特征方向。该方法在中间块边界通过 bridge 模块计算加性修正,保持子空间基底固定且仅学习线性映射,参数效率极高。视觉与自然语言理解基准测试显示,ESCal 仅需小规模校准集即可跨多种模型架构与合并方法提升性能。

来源:arXiv cs.LG · arxiv.org