arXiv cs.AI· Zhangming Li, Qinghao Hu, Weifan Guan, Yifan Zhang, Peisong Wang, Jian Cheng·· 11 天前AI 评分36
NormTune：面向推理密集型任务的范数引导参数高效微调
NormTune: Norm-Guided Parameter-Efficient Fine-Tuning for Reasoning-Intensive Tasks
AI 导读
NormTune 是一种范数引导的参数高效微调（PEFT）方法，通过依据权重更新范数自适应强化更新不足的层，弥合 PEFT 在推理任务上与全参数微调的差距。在 S1K-1.1 上训练时，NormTune 使 rank-8 LoRA、Bone 和 MoRA 平均准确率分别提升 24.24%、11.33% 和 16.21%，且 rank-256 配置表现达到并微超 S1 全参数微调基线。
来源：arXiv cs.AI · arxiv.org