Forking：数据重放下的模型突发过拟合现象

研究发现数据重放会导致带有 n-gram 记忆分支的模型在 epoch 边界处出现训练与验证损失急剧分离，形成名为“forking”的突发过拟合现象。该现象在 NanoGPT 及带有 Engram 的 DeepSeek 风格模型中均被复现，并在短预算、重度重复的 SFT 与类 RL 场景中同样存在。其成因是重复更新抑制了未见延续的概率，且低频上下文会显著放大这一损失差距。