arXiv stat.ML· Yuren Hao·· 2026-09-30AI 评分35
Physical Muon:将正交化作为平衡态计算
Physical Muon: Orthogonalization as an Equilibrium Computation
AI 导读
研究团队提出优化器 Physical Muon,将 Muon 的正交化步骤转化为连续时间流的平衡态计算,以适配模拟存内计算。在 10.95M 参数 Transformer 上的评估显示,密集流方案的平均验证交叉熵仅比 Newton-Schulz 高 0.0085,探针实现仅高 0.0188。电路仿真进一步验证了其流动动力学,并取得了相当的训练表现。
来源:arXiv stat.ML · arxiv.org