科学网·· 7 天前AI 评分67
面壁智能联合OpenBMB开源端侧多模态模型MiniCPM V 4.7
端侧AI的普惠时代已开启
AI 导读
面壁智能联合OpenBMB社区开源端侧多模态模型MiniCPM V 4.7,推出35B A3B与1B两个版本以适配不同移动终端。其中35B MoE版本采用前瞻专家调度技术实现计算与读取并行,官方测试显示预取命中率超过80%,可在保持原有路由精度下降低内存占用并提升生成速度。该项目同步配套权重分层存储、分级视觉token压缩与投机解码优化,目前已适配多家芯片厂商和主流推理框架。
来源:科学网 · news.sciencenet.cn