arXiv cs.LG· Alicem Koyun·· 4 天前AI 评分30
面向噪声深度学习的动量引导优化器：MGO-SC 作为 Adam 式更新的一致性门控
Moment-Guided Optimizers for Noisy Deep Learning: MGO-SC as a Simple Consistency Gate for Adam-Style Updates
AI 导读
轻量优化器 MGO-SC 通过梯度符号指数移动平均构建坐标级一致性门控，对符号波动的坐标降权以改进 Adam 类算法在噪声下的更新稳定性。其均值保持变体在 CIFAR-10 和 ResNet-18 测试中，于 40% 对称标签噪声下较 AdamW 基准提升 1.4 个百分点（Wilcoxon p<0.01）。该方法无需二阶信息或逐样本过滤，代码与原始日志已开源。
来源：arXiv cs.LG · arxiv.org