跳到正文
热点事件持续更新

论文揭示快速对抗训练过拟合机制,提出EMA权重重置方案

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年11月5日,arXiv发布的研究指出,快速对抗训练(FAT)中的灾难性过拟合本质是训练损失无法察觉的权重漂移,而指数移动平均(EMA)权重在全程均保持鲁棒。研究团队据此提出一种防御方案,在验证鲁棒性下降时将权重重置为EMA,在所有测试中完全消除了灾难性过拟合。实验显示,该方案在3个基准数据集上均获得了快速方法中最高的AutoAttack准确率,并在CIFAR-100上以约一半的成本超越了多步基准。目前相关代码已开源。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.LG
    灾难性过拟合本质是训练损失无法察觉的权重漂移

    研究发现快速对抗训练(FAT)的灾难性过拟合本质是训练损失无法察觉的权重漂移,而指数移动平均(EMA)权重全程保持鲁棒。团队据此提出在验证鲁棒性下降时将权重重置为 EMA,在所有测试中完全消除该过拟合。该方案在 3 个基准数据集上均获快速方法最高的 AutoAttack 准确率,在 CIFAR-100 上以约一半成本超越多步基准,代码已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。