从最小范数插值视角解析 Grokking 现象

一项新研究从最小范数插值视角构建统计理论，定量刻画了正则化几何与信号稀疏度对 Grokking 延迟泛化的调控机制。研究证明了强过参数化无噪问题下的 0-1 泛化律，并在对角线性网络与模运算 Transformer 实验中验证了理论预测。此外，该研究还揭示出最小范数插值的统计不稳定性，即微小正则化扰动会导致泛化表现剧烈波动。