跳到正文
原文
arXiv stat.ML· Akash Kumar·· 2026-09-30AI 评分37

表征学习能否与损失最小化解耦?极化更新给出答案

Can Representation Learning Decouple from Loss Minimization? Polar Updates Have an Answer

AI 导读

矩阵 Muon 的极化归一化更新表明表征学习可与损失最小化解耦:在接近稳定性边缘时,即便全批次训练损失停滞或进入周期振荡,特征仍会持续与教师子空间对齐。在全部 33 种激活函数配置中,学生模型的平均梯度外积(AGOP)在损失平台期均持续有效对齐,且该现象在深度残差网络中亦能复现。

来源:arXiv stat.ML · arxiv.org