arXiv stat.ML· Yunhao Ni, Yuxin Guo, Yuhe Liu, Wenxin Sun, Jie Luo, Wenjun Wu, Lei Huang·· 18 天前AI 评分33
用于通用近似的并行层归一化（PLN）研究
Parallel Layer Normalization for Universal Approximation
AI 导读
研究人员提出了并行层归一化网络（PLN-Nets），证明单个层归一化（LN）单元的浅层网络不具备通用近似能力，而通过增加并行 LN 分组数量可实现通用近似。该机制可扩展至深层网络、RMSNorm 变体、前馈网络和卷积网络。在 MLP、PINN、CNN 和 ViT 上的实验表明，分组数量及分组轴、替换位置等结构特征会直接影响模型的拟合与泛化表现。
来源：arXiv stat.ML · arxiv.org