arXiv cs.LG· Thibaut Boissin (IRIT), Thomas Massena (IRIT, DTIPG - SNCF, UT3), Mathieu Serrurier (IRIT), Franck Mamalet·· 27 天前AI 评分36
Muon 理论上不适用于卷积，但在实证中依然有效
Muon Is Theoretically Wrong For Convolutions, But Empirically Effective
AI 导读
针对 Muon 优化器将 4D 卷积核重塑为矩阵会破坏理论基础的问题，研究团队在卷积算子几何中提出了近似极因子的 Conv-NS 算法。在 CIFAR-10 和 ImageNet 图像分类任务中，理论对齐的 Conv-NS 与基于重塑的 Muon 计算效率与准确率相当，研究推测精确卷积正交化可能过度约束了参数更新。相关代码已在 GitHub 开源。
来源：arXiv cs.LG · arxiv.org