arXiv stat.ML· Jia-Qi Yang, Lei Shi·· 6 天前AI 评分30
边界几何决定加权系数约束下浅层 ReLU 网络的最优逼近
Boundary Geometry Determines Optimal Shallow ReLU Approximation under Weighted Coefficient Constraints
AI 导读
在凸体上的加权变差空间中,定义域的边界几何特征决定了浅层 ReLU 神经网络的最优 $L^q$ 逼近指数。论文确立了任意凸体的上下界,确定了所有平面凸体及其多胞体乘积、以及主曲率全为正的 $C^2$ 凸体在所有有限 $q \ge 2$ 时的最优指数。当目标为有限 ReLU 网络时,该上界可由仅使用原神经元的压缩网络实现,且不增加加权系数和。
来源:arXiv stat.ML · arxiv.org