跳到正文
热点事件历史事件

研究团队提出ParaTTT算法 实现测试时训练层并行化

1 篇报道1 个报道来源4 天前更新

先了解这件事

AI 综述

2026年10月30日,研究人员在arXiv发布论文,提出名为ParaTTT(PTTT)的算法。该算法通过迭代优化内循环梯度轨迹,实现了任意深度非线性记忆测试时训练(TTT)层的并行化。实验数据显示,在4K上下文长度下经过两次迭代,ParaTTT的内循环轨迹评估速度比TTT-MLP快32倍,带动340M模型整体训练提速4.9倍。在340M和1.3B参数规模下,其模型表现匹配或超越了Gated DeltaNet及Mamba-2,且具有更优的召回能力。

AI 根据报道生成 · 3 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. arXiv cs.LG
    ParaTTT:实现深层记忆测试时训练(TTT)层的并行化

    研究人员提出 ParaTTT(PTTT)算法,通过迭代优化内循环梯度轨迹,实现了任意深度非线性记忆测试时训练(TTT)层的并行化。在 4K context 下经过两次迭代,其内循环轨迹评估速度比 TTT-MLP 快 32x,340M 模型整体训练提速 4.9x。在 340M 和 1.3B 规模下,其模型表现匹配或超越 Gated DeltaNet 及 Mamba-2,且召回能力更优。

本事件热度走势

当前热度 3·可比范围峰值 7(10月31日 02:00)·近 24 小时可比范围变化 -49%

0246810月31日02:0010月31日13:0011月1日00:0011月1日11:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。