arXiv cs.LG· Yikuan Li, Pinyan Lu, Fanghui Liu·· 26 天前AI 评分42
PEFT 方法真的存在本质差异吗？
Are Parameter-Efficient Fine-tuning Methods Really Different?
AI 导读
研究人员在语言和扩散模型中对比了六种 PEFT 方法，发现 LoRA 族方法同样能近似保持预训练几何特征，显式谱保持并非必需。测试显示，LoRA 能最稳定地抑制遗忘，DoRA 在多数对比中取得更高平均任务得分，而 PiSSA 的遗忘代价往往更大。研究还表明恢复主谱分量可最大程度降低通用文本 NLL 与基础图像漂移，相关代码已开源。
来源：arXiv cs.LG · arxiv.org