arXiv cs.AI· Di Wu, Shuaidong Pan·· 11 天前AI 评分34
GRAM：基于子空间对齐的分组低秩感知模型合并方法
GRAM: Group-wise Rank-Aware Model Merging via Subspace Alignment
AI 导读
针对多任务模型合并中的子空间干扰问题，研究者提出分组低秩感知模型合并方法 GRAM。该方法仅依赖微调权重，利用任务向量的主角几何特性将相容任务分组，并在组内执行基于 SVD 的合并。在仅增加一个模型（K=2）的设定下，GRAM 在 Flan-T5、8 任务 CLIP 及 Qwen2-7B-Instruct 医疗指令微调任务中均优于先前合并方法。
来源：arXiv cs.AI · arxiv.org