arXiv stat.ML· Sjoerd Dirksen, Patrick Finke, Paul Geuchen, Dominik St\"oger, Felix Voigtlaender·· 15 天前AI 评分26
深度随机 ReLU 神经网络 ℓ^p-Lipschitz 常数的最优估计研究
Optimal estimates for the $\ell^p$-Lipschitz constants of deep random ReLU neural networks
AI 导读
研究者针对采用 He 初始化变体的随机参数深度 ReLU 神经网络，推导了 p ∈ [1, ∞] 时的 ℓ^p-Lipschitz 常数界。在零偏置宽网络中，高概率上下界仅相差一个绝对常数，且随网络深度呈对数平方根增长；常数特性在 p ∈ [1, 2) 和 p ∈ [2, ∞] 两区间存在显著差异。在非零偏置网络中，研究推导出了无需偏置分布假设的相同下界，以及对称有界偏置分布下的高概率上界。
来源：arXiv stat.ML · arxiv.org