arXiv stat.ML· Yannick Lunk, Atell Yehor Krasnopolsky, Damien Garreau, Leon Bungert·· 25 天前AI 评分27
对抗训练神经网络显著图稀疏性的理论解释
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
AI 导读
新研究针对两层 ReLU 网络提出理论解释，揭示了对抗训练神经网络梯度显著图呈现稀疏性的成因。研究表明，在 $\ell_\infty$ 攻击对抗训练下梯度范数具有各向异性并偏向轴对齐与稀疏梯度，其极小值会收敛至具备极小梯度与 Barron 范数的 Bayes 分类器。团队通过评估模型的梯度 $\ell_1$ 范数和阈值化稀疏性，实验验证了这一结论。
来源：arXiv stat.ML · arxiv.org