arXiv cs.LG· Sunil Madhow, Yu-Xiang Wang·· 15 天前AI 评分34
“Deep lifts”研究发现：神经网络在最笨的优化器下依然能够泛化
"Deep lifts": Neural networks can generalize even with the dumbest optimizer
AI 导读
研究表明在宽度为 W、深度为 D 的 ReLU 网络插值解空间中均匀随机抽取参数，模型仍能以 $\tilde O\left(\frac{wdWD}{n}\right)$ 的速率自适应泛化，而非受限于大网络的全 VC 维。
来源：arXiv cs.LG · arxiv.org