arXiv cs.LG· Yu Sun, Junwei Zhou, Zuodong Xiang, Yike Zhang, Pengcheng Xu, Xinyu Guan, Ruoyun Ma, Hailu Xu·· 22 天前AI 评分34
LoRA B 矩阵内静态梯度归因在基于损失的遗忘表现上劣于密度匹配随机掩码
Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix
AI 导读
研究发现在限定 LoRA B 矩阵参数池后，均匀随机掩码在 Qwen2.5-3B 的持续学习测试中，基于损失的遗忘表现一致优于静态梯度归因（跨 7 个随机种子）。该优势主要集中在医疗任务（贡献了总体效果的 80%），代码和数学任务趋势相同，法律任务则无可靠差异。此外，在医疗和法律任务上，两者的平均准确率后向迁移差异在统计上与零无显著区别。
来源：arXiv cs.LG · arxiv.org