跳到正文
原文
量子位· 十三·· 20 天前精选AI 评分76

面壁智能开源多模态模型 MiniCPM-V 4.7,35B MoE 仅需 3G 内存

iPhone断网跑35B多模态!国产开源新模型,只占3G内存

AI 导读

面壁智能与 OpenBMB 正式开源端侧多模态模型 MiniCPM-V 4.7,推出 35B-A3B MoE 与 1.3B 两个版本,其中 35B 版本仅占用约 3G 内存即可在手机离线运行。该模型采用前瞻专家调度、混合精度量化与视觉压缩等技术,在 iPhone 17 Pro Max 上解码速度超过 13 tokens/s,并已适配 iOS、安卓及鸿蒙等多个系统平台。

推荐理由

模型通过前瞻专家调度和混合精度量化降低内存占用,为端侧设备离线运行大参数多模态模型提供了实用方案。

来源:量子位 · qbitai.com