arXiv stat.ML· Hiroshi Horii (SU), Sothea Has (KHM)·· 18 天前AI 评分29
深度神经网络初始化方差的最优条件：基于 SGD 动力学视角
Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective
AI 导读
研究人员从随机梯度下降（SGD）动力学视角出发，推导出高斯分布下深度神经网络（DNN）权重初始化方差的最优数学条件。该方法通过极小化期望损失函数界限确定初始化尺度，摆脱了传统启发式设定的限制。在 MNIST 与 Fashion-MNIST 数据集上的全连接网络实验显示，满足该理论最优条件的模型最终训练损失更低，且测试准确率均优于传统的 He-normal 初始化。
来源：arXiv stat.ML · arxiv.org