深度学习中隐式正则化的估计方法

研究人员提出了一种梯度匹配方法，利用权重更新偏离损失梯度的特征实证估计深度学习中的隐式正则化。该方法能有效复现 $\ell_1$、$\ell_2$ 等显式惩罚以及 early stopping 诱导的二次权重惩罚，并适用于任意网络架构。实验通过表征深度网络中 dropout 带来的隐式 $\ell_2$ 效应，为分析难以直接解析推导的复杂隐式偏差提供了实用手段。