arXiv cs.LG· Noel Loo, Neehal Tumma, T. Konstantin Rusch, Mathias Lechner, Alexander Amini, Daniela Rus·· 4 天前AI 评分47
ParaTTT：实现深层记忆测试时训练（TTT）层的并行化
ParaTTT: Parallelizing Test-Time Training Layers with Deep Memories
AI 导读
研究人员提出 ParaTTT（PTTT）算法，通过迭代优化内循环梯度轨迹，实现了任意深度非线性记忆测试时训练（TTT）层的并行化。在 4K context 下经过两次迭代，其内循环轨迹评估速度比 TTT-MLP 快 32x，340M 模型整体训练提速 4.9x。在 340M 和 1.3B 规模下，其模型表现匹配或超越 Gated DeltaNet 及 Mamba-2，且召回能力更优。
来源：arXiv cs.LG · arxiv.org