跳到正文
原文
arXiv cs.LG· Giulianno Vollmer·· 4 天前AI 评分56

Metis-1.6 技术报告:单人训练的混合 Mamba-2 与 MoE 架构语言模型

Think Twice: The Metis-1.6 Technical Report

AI 导读

独立研究者发布 Metis-1.6 技术报告,推出从零训练的 Praxis(2.94B)和 Logos(10.23B)两款混合 Mamba-2 与注意力 MoE 模型。

来源:arXiv cs.LG · arxiv.org