arXiv cs.LG· Haiyuan Wan, Yanyi Li, Weicheng Lin, Cong Fang·· 22 天前AI 评分34
研究提出样本自适应零阶优化算法 SAZO 用于大语言模型后训练
Sample-Adaptive Zeroth-Order Post-Training
AI 导读
研究者提出样本自适应零阶优化算法 SAZO，通过在线学习样本重要性并自适应分配查询来加速大语言模型微调收敛。该方法从现有方向差分中提取梯度范数信息，并维护单样本指数移动平均以追踪重要性变化，相比 MeZO 无需额外模型评估且仅增加 $O(N)$ 标量状态。在 4 个模型家族上的实验显示，SAZO 提升了下游性能，并在达到相同训练损失时实现最高 6x 的查询次数收敛加速。
来源：arXiv cs.LG · arxiv.org