Multi-Token Prediction 的正确实现方式

研究人员针对多 Token 预测（MTP）训练中的梯度干扰缺陷，提出了无额外参数开销的 Soft-MTP。该方法利用梯度恢复技巧仅反向传播有益的 KL 自蒸馏信号，无缝兼容 DeepSeek 与 Meta 架构。在 167M 至 1.2B 参数规模下，Soft-MTP 带来了更低的困惑度和更快的投机解码，并在 1.2B 微调后提升了数学与代码推理能力。