arXiv cs.LG· Xinyu Luo, Jincheng Zhou, Mengbo Wang, Zilin Shen, Nadia Atallah Lanman, Petros Drineas, Bruno Ribeiro, Brian Bullins·· 15 天前AI 评分36
Ori：面向极低秩 LLM 训练的漂移感知流式 k-PCA 优化器
Ori: Drift-Aware Streaming $k$-PCA for Very Low-Rank LLM Training
AI 导读
研究人员提出面向 LLM 训练的新型低秩优化器 Ori，利用受 Oja++ 启发的流式 k-PCA 算法实时跟踪梯度子空间漂移，在严苛的低秩约束下捕获主梯度方向。在 1B LLaMA 预训练任务中，Ori 将现有 SOTA 低秩优化器与全秩优化器的性能差距缩小了多达 69.3%。在 RoBERTa-Base 微调的 16 个任务场景中，Ori 在 10 个场景下取得最优表现，相关代码已开源。
来源：arXiv cs.LG · arxiv.org