arXiv cs.LG· Songyuan Sui, Srikanth Malla, Chiho Choi, Joon Hee Choi·· 29 天前AI 评分44
每个用户都需要私有 LoRA 吗？将个性化与单用户适配解耦
Does Every User Need a Private LoRA? Decoupling Personalization from Per-User Adaptation
AI 导读
研究人员提出 LINEUP 框架，通过学习一组可复用的低秩个性化因子，将大语言模型的个性化表达能力与单用户适配状态解耦。该方法下每个目标用户仅需在共享校正空间优化 8 个标量，远低于评测中私有 LoRA 的 4.19M 单用户参数。在 6 项个性化任务的全部 12 项指标上 LINEUP 均取得领先，例如将 LaMP-3 的 RMSE 较最强基线降低 11.4%。
来源：arXiv cs.LG · arxiv.org