arXiv cs.LG· Chao Pan·· 2 小时前AI 评分35
灾难性过拟合本质是训练损失无法察觉的权重漂移
Catastrophic Overfitting is Weight Drift the Training Loss Cannot See
AI 导读
研究发现快速对抗训练（FAT）的灾难性过拟合本质是训练损失无法察觉的权重漂移，而指数移动平均（EMA）权重全程保持鲁棒。团队据此提出在验证鲁棒性下降时将权重重置为 EMA，在所有测试中完全消除该过拟合。该方案在 3 个基准数据集上均获快速方法最高的 AutoAttack 准确率，在 CIFAR-100 上以约一半成本超越多步基准，代码已开源。
来源：arXiv cs.LG · arxiv.org