arXiv stat.ML· Ao Xu·· 18 天前AI 评分36
Muon 何时最优?径向脆弱性与 Minimax 几何
When Is Muon Optimal? Radial Fragility and Minimax Geometry
AI 导读
研究探讨了神经网络训练优化器 Muon 采用近似极因子更新的最优性条件及其曲率解释的稳定性。研究者引入随机半径各向同性曲率模型(RR-ICM),证明平均曲率解释存在径向脆弱性,无原子径向分布会导致零容量刚性。为此提出的 Minimax RR-ICM 表明,在球面概率分布的最坏情况下,非零全局极小值严格落在梯度的极射线上,为 Muon 的极方向提供了极小化极大变分表征。
来源:arXiv stat.ML · arxiv.org