跳到正文
原文
arXiv cs.LG· Fujie Gao, Zuyue Zhang, Gang Sun·· 2026-10-02AI 评分33

遗忘中的学习:随机训练动力学中的统计支持选择性保留

Learning Under Forgetting: Statistical Support-Selective Retention in Stochastic Training Dynamics

AI 导读

研究者提出了重复强化与持续遗忘(RPF)动力学框架,将遗忘作为选择机制以解释神经网络的选择性保留行为。该理论推导出特征保留边界,证明遗忘会诱导谱滤波以抑制弱成分,并在小步长近似下产生类似最小描述长度(MDL)的压缩权衡。标量记忆与非线性网络实验验证了该机制,表明其可作为超越网络架构与规模的可控归纳偏置。

来源:arXiv cs.LG · arxiv.org