TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
中文摘要
由模型生成 · 人工抽检TurboMamba 提出一种混合架构：全局 Mamba-3 按 token 块运行，小型 Transformer 结合块内上下文预测下一 token，并加入前块末 token 直连、分数修正和近期词频混合三项轻量改进。在 FineWeb-Edu 上，其测试 NLL 比 Mamba-3 低 9.4%，训练吞吐提升 2.6 倍，推理延迟降低约 3 倍。
全文
已译中文[Submitted on 14 Oct 2026]
标题：
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
查看题为 TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory 的论文 PDF，作者为 Hanxin Zhang
查看 PDF
HTML（实验性）
摘要：
我们提出 TurboMamba，一种用于更快推理、更快训练和更好 token 预测的语言模型架构。一个全局 Mamba-3 模型在每个完成的 token 块上运行一次。一个小型 Transformer 利用该全局上下文以及块内更早的 token 来预测下一个 token。三项轻量级增强改进了局部预测：直接访问前一个块的最后一个 token、对下一 token 分数进行小幅修正，以及与近期 token 频率的学习混合。我们在公开的 FineWeb-Edu 上比较了十二个小规模实现，参数数量相当，并共享训练预算上限。基线包括 Transformer、Mamba-3、Jamba 和 Zamba。Jamba 和 Zamba 版本使用 Mamba-3 替代其原始的 Mamba 模块。TurboMamba 在全部十二个模型中取得了最低的平均测试预测损失（负对数似然，NLL）。其平均 NLL 比 Mamba-3 低 9.4%，比 Jamba 版本低 7.3%，比 Zamba 版本低 18.3%。端到端训练吞吐是 Mamba-3 的 2.60 倍，是 Jamba 版本的 2.81 倍，是 Zamba 版本的 4.82 倍。我们测量了批次大小为 32 个序列的端到端批延迟，每个序列包含 256 个 token 的提示词和 128 个生成的 token。在此工作负载上，TurboMamba 相比 Mamba-3 实现了 3.12 倍加速，相比 Jamba 版本实现了 3.53 倍加速，相比 Zamba 版本实现了 6.21 倍加速。
提交历史
来自：Hanxin Zhang [
查看邮件
[v1]
2026 年 10 月 14 日星期三 16:29:19 UTC（79 KB）
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。