arXiv cs.LG· Sungyoon Kim, Kaan Ozkara, Youngsuk Park·· 25 天前AI 评分36
利用链式 LMO 优化大语言模型
Optimizing Large Language Models with Chained LMOs
AI 导读
研究提出基于链式线性最小化预言机（chained LMOs）的新型优化器 TensorChain，通过跨层堆叠兼容权重矩阵并对 3D 张量各轴进行归一化。在千问（Qwen3）0.6B 与 1.7B 的预训练中，TensorChain 的平均 token 效率超越所有链式基线，在相同验证损失下相比 Muon 平均节省 9.6% 的 token。
来源：arXiv cs.LG · arxiv.org