跳到正文
原文
arXiv cs.AI· Sara Abdali, Pashmina Cameron·· 27 天前AI 评分34

JIVEAdapter:基于 JIVE 的多任务加性低秩适配器

JIVEAdapter: A Multi-Task Additive Low-Rank Adapter via Joint and Individual Variation Explained (JIVE)

AI 导读

JIVEAdapter 是一种多任务加性低秩适配器,将权重更新分解为跨任务共享的联合结构与各任务独立的专有结构。该方法通过近似正交惩罚解耦信号并在共享与独立池间自适应分配秩,共享部分训练后可冻结并复用为新任务先验。在 DeBERTaV3-base 上的 GLUE 和 SuperGLUE 评测中,它无需 MoE 模块即可在匹配有效秩下比肩强基线。

来源:arXiv cs.AI · arxiv.org