arXiv stat.ML· Xuheng Li, Qiwei Di, Yuan Cao, Quanquan Gu·· 29 天前AI 评分38
Muon 能更好学习事实：理解谱正交化的作用
Muon Learns Facts Better: Understanding the Role of Spectral Orthogonalization
AI 导读
Muon 优化器通过谱正交化显著改善事实回忆，将线性 Transformer 中主体与关系的特征学习时间比从梯度流的 $\widetilde{\Theta}(\sqrt{S/R})$ 降至 $\widetilde{\Theta}(1)$。
来源：arXiv stat.ML · arxiv.org