跳到正文
原文
arXiv stat.ML· Yatin Dandi, Matteo Vilucchio, Hugo Tabanelli, Florent Krzakala·· 8 天前AI 评分29

带反向耦合的 Neural LoFi:跨层特征学习的谱理论

Neural LoFi with Backward Coupling: A Spectral Theory of Cross-Layer Feature Learning

AI 导读

研究团队提出了带反向耦合的 Neural LoFi 理论框架,通过模拟反向传播中后层对前层表征的重塑作用,构建了跨层特征学习的谱理论。该算法利用上层敏感度为前序谱步骤生成样本相关的有效标签,可恢复纯前向统计无法捕获的底层特征方向。在二分类 CIFAR-10 实验中,全连接与卷积网络在同等宽度下均取得了优于前向 Neural LoFi 的准确率。

来源:arXiv stat.ML · arxiv.org