热点事件历史事件
研究人员提出Soft-MTP优化多Token预测训练
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年10月30日，研究人员在arXiv发布论文，针对多Token预测（MTP）训练中存在的梯度干扰缺陷，提出了一种无额外参数开销的优化方法Soft-MTP。该方法利用梯度恢复技巧，仅反向传播有益的KL自蒸馏信号，可无缝兼容DeepSeek与Meta架构。实验显示，在167M至1.2B参数规模下，Soft-MTP带来了更低的困惑度与更快的投机解码速度，并在1.2B模型微调后有效提升了数学与代码推理能力。
AI 根据报道生成 · 3 天前更新
最新进展10月30日 12:00
研究人员提出Soft-MTP方法，解决梯度干扰并提升多Token预测性能。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv cs.LGMulti-Token Prediction 的正确实现方式
研究人员针对多 Token 预测（MTP）训练中的梯度干扰缺陷，提出了无额外参数开销的 Soft-MTP。该方法利用梯度恢复技巧仅反向传播有益的 KL 自蒸馏信号，无缝兼容 DeepSeek 与 Meta 架构。在 167M 至 1.2B 参数规模下，Soft-MTP 带来了更低的困惑度和更快的投机解码，并在 1.2B 微调后提升了数学与代码推理能力。
本事件热度走势
当前热度 3·可比范围峰值 7（10月31日 02:00）·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。