arXiv cs.LG· Hanxin Zhang·· 18 天前AI 评分33
TurboMamba：通过词汇记忆实现更快推理、更快训练与更佳预测的语言模型架构
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
AI 导读
研究人员提出大语言模型架构 TurboMamba，结合全局 Mamba-3 与小型 Transformer 块内预测以提升性能。在 FineWeb-Edu 评测中，TurboMamba 的平均测试 NLL 较 Mamba-3 降低 9.4%，端到端训练吞吐量达其 2.60x。在 32 批次推理测试下，其相较 Mamba-3 取得 3.12x 加速，并显著超越 Jamba 与 Zamba 变体。
来源：arXiv cs.LG · arxiv.org