arXiv cs.LG· Disen Liao, Yaoliang Yu·2026-10-27 12:00· 7 天前AI 评分38

重新思考 LoRA 初始化：实现鲁棒的非对称学习率

Rethinking LoRA Initialization for Robust Asymmetric Learning Rates

AI 导读

针对 LoRA+ 采用非对称学习率易导致训练不稳定和性能崩溃的问题，研究提出了新型初始化方法 initAA。该方法将矩阵 A 的方差缩放为 $\sigma_A^2 \propto n^{-2}$ 并保持 $B_0=0$，使初始化噪声能量额外降低 $1/n$ 倍，同时保持适配器初始输出为零。

来源：arXiv cs.LG · arxiv.org