平坦损失与演化特征：模加法中的 Grokking 现象研究

研究表明神经网络在训练交叉熵损失保持平坦甚至上升时仍能继续学习。在模加法任务中，采用特定更新与权重衰减的 ReLU 网络能在保持 100% 训练准确率的同时演化隐层特征，使测试准确率从 0 提升至 90% 以上。单块与双块 Transformer 实验同样证实了这一现象，证明训练损失进入平台期并不意味着学习停滞。