热点事件持续更新
论文揭示快速对抗训练过拟合机制,提出EMA权重重置方案
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月5日,arXiv发布的研究指出,快速对抗训练(FAT)中的灾难性过拟合本质是训练损失无法察觉的权重漂移,而指数移动平均(EMA)权重在全程均保持鲁棒。研究团队据此提出一种防御方案,在验证鲁棒性下降时将权重重置为EMA,在所有测试中完全消除了灾难性过拟合。实验显示,该方案在3个基准数据集上均获得了快速方法中最高的AutoAttack准确率,并在CIFAR-100上以约一半的成本超越了多步基准。目前相关代码已开源。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 13:00
研究提出在验证鲁棒性下降时重置为EMA权重的方案,完全消除灾难性过拟合并开源代码。报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv cs.LG灾难性过拟合本质是训练损失无法察觉的权重漂移
研究发现快速对抗训练(FAT)的灾难性过拟合本质是训练损失无法察觉的权重漂移,而指数移动平均(EMA)权重全程保持鲁棒。团队据此提出在验证鲁棒性下降时将权重重置为 EMA,在所有测试中完全消除该过拟合。该方案在 3 个基准数据集上均获快速方法最高的 AutoAttack 准确率,在 CIFAR-100 上以约一半成本超越多步基准,代码已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。