面壁智能联合OpenBMB开源端侧多模态模型MiniCPM V 4.7
面壁智能联合OpenBMB社区开源端侧多模态模型MiniCPM V 4.7,推出35B A3B与1B两个版本以适配不同移动终端。其中35B MoE版本采用前瞻专家调度技术实现计算与读取并行,官方测试显示预取命中率超过80%,可在保持原有路由精度下降低内存占用并提升生成速度。该项目同步配套权重分层存储、分级视觉token压缩与投机解码优化,目前已适配多家芯片厂商和主流推理框架。
面壁智能联合OpenBMB社区开源端侧多模态模型MiniCPM V 4.7,推出35B A3B与1B两个版本以适配不同移动终端。其中35B MoE版本采用前瞻专家调度技术实现计算与读取并行,官方测试显示预取命中率超过80%,可在保持原有路由精度下降低内存占用并提升生成速度。该项目同步配套权重分层存储、分级视觉token压缩与投机解码优化,目前已适配多家芯片厂商和主流推理框架。
Block 旗下研究实验室发布全双工语音模型 Dessa,完全基于人类语音训练,支持同时听说并展现笑声、哭腔和停顿等自然情感表达。该模型跳过传统文本中转流水线,可在 MacBook M4 Max 等消费级硬件上本地运行;目前尚未公开开放,官方正招募安全研究人员开展测试。
Block 推出语音 AI 模型 Dessa,完全不依赖文本数据从零基于人类语音训练,可直接处理音频并实时捕捉情绪、讽刺、笑声与停顿。该模型支持全双工通信,可实现边听边说,并能在配备 M4 Max 的 MacBook Pro 上本地运行。Dessa 目前尚未公开上线,团队正面向安全研究人员开放测试报名以排查潜在风险。
科大讯飞在开发者节上发布基于全国产算力训练的讯飞星火X2.6,推出端云一体协同架构以应对数据泄露风险与Token成本。端侧模型星火X2.6-4B通过自适应迭代强化长文本理解与工具调用,资料不出端即可处理敏感业务,路由协同准确率达96.1%。目前该系列已开放端侧模型下载、云端API及星火APP等应用入口。
Jack Dorsey 旗下的 Block 推出端到端语音模型 Dessa,该模型完全从零基于人类对话训练,可在搭载 M4 Max 的 MacBook Pro 上本地运行。团队指出传统语音模型将语音拍平成文本会丢失情绪感知与节奏,Dessa 旨在通过纯语音交互提升安全与共情理解,目前计划先向部分 AI 安全研究人员提供早期访问权限。
AI 初创公司 Recursive 发布首个免费开源编码模型 Flint,该模型主要由其自动化研究系统 Eureka Machine 辅助在四个月内完成开发,可在笔记本电脑上离线运行。
AI 初创公司 Recursive 发布首个开源语言模型 Flint,该模型采用总参数 40B、每 token 激活 2.5B 的 MoE 架构,专为本地 Agent 编码设计。
Meta 发布开放权重多模态模型 Muse Spark Open,拥有 8160 亿总参数和 420 亿激活参数,支持 100 万 Token 上下文。该模型结合苹果开源框架 MLX 针对统一内存进行了优化,两台搭载 M5 Ultra 芯片的 Mac Studio 即可部署运行。目前模型权重已在 Hugging Face 正式上线。
推荐理由:该模型通过适配苹果 MLX 框架与统一内存架构,让超大参数规模的开放多模态模型能够在两台桌面工作站上直接本地运行。
Meta 发布拥有 816B 总参数的开源多模态模型 Muse Spark Open,并与苹果合作使其能够在搭载最新 MLX 框架的两台 Apple M5 Ultra Mac Studio 上进行桌面端本地运行。该模型主打长周期任务、复杂软件工程与多步骤推理能力,苹果也同步发布了关于 MLX 适配的技术说明。
推荐理由:原文展现了两家科技巨头在桌面端大模型运行上的合作,读者可据此了解超大参数模型在本地硬件框架下的适配进展。
NVIDIA 正式发布 120B 参数的开源模型 Nemotron 3.5 Super VL,以及面向本地和边缘智能体的 Nemotron 3.5 Bolt 74B-A9B 与 Bolt E4B 两款端侧模型。
推荐理由:通过涵盖云端多模态与端侧量化模型,该系列为企业本地部署全流程智能体提供了开源权重与配套微调方案。
面壁智能与 OpenBMB 正式开源端侧多模态模型 MiniCPM-V 4.7,推出 35B-A3B MoE 与 1.3B 两个版本,其中 35B 版本仅占用约 3G 内存即可在手机离线运行。该模型采用前瞻专家调度、混合精度量化与视觉压缩等技术,在 iPhone 17 Pro Max 上解码速度超过 13 tokens/s,并已适配 iOS、安卓及鸿蒙等多个系统平台。
推荐理由:模型通过前瞻专家调度和混合精度量化降低内存占用,为端侧设备离线运行大参数多模态模型提供了实用方案。
Google DeepMind 与新加坡政府科技局合作推出端侧防诈骗 AI 模型,基于轻量级 Gemma 模型微调并在用户手机本地运行。该模型采用轻量分类器初筛加 Gemma 上下文评估的两阶段架构,在不破坏端到端加密的前提下实时拦截社交工程诈骗;微调全程在独立受控沙箱中进行,严格排除了公民个人信息。
Google 开源多模态嵌入模型 EmbeddingGemma 2,参数量为 740M,支持将文本、图像、视频、音频与代码转为向量。该模型在浏览器端通过 WebGPU 单次查询耗时约 20 至 70 毫秒,仅需约 191 MB 内存,纯文本任务另提供 270M 版本。模型权重已上线 Hugging Face 与 Kaggle,可配合小型开源模型在本地离线运行 RAG 应用。
Google DeepMind 正式推出开源轻量多模态嵌入模型 EmbeddingGemma 2,采用 Apache 2.0 协议且全模态总参数量为 740M。
推荐理由:模型将跨模态统一嵌入压缩至 740M 参数量级并支持动态截断维度,为端侧离线检索与轻量 RAG 提供了低内存落地方案。
Google DeepMind 推出手语转文本模型 SL2T,并率先在 Pixel 11 的 Gboard 与 Live Transcribe 中支持美式手语到英语的实时听写输入。
推荐理由:原文展现了从端侧姿态骨骼点直接翻译手语文本的技术路径,为无障碍人机交互和隐私敏感场景的多模态部署提供了可参考范式。
Google DeepMind 推出新一代机器人模型系列 Gemini Robotics 2,让机器人具备全身运动控制、高精细操作与多机协作能力。
推荐理由:该系列模型将具身推理、动作控制与端侧适配分层解耦,为机器人长时序多步协作与跨硬件迁移提供了清晰架构。
Google DeepMind 正式推出 Gemma 4 12B 多模态模型,采用无独立编码器的统一架构,原生支持视觉与音频输入直接接入 LLM 主干。该模型在标准基准上的性能接近 26B MoE 模型,内存占用减少超一半,可在具备 16GB 显存或统一内存的笔记本电脑上本地运行。模型采用 Apache 2.0 协议开源,支持通过 Hugging Face、Ollama 和 vLLM 等工具部署。
推荐理由:原文解析了移除视觉和音频编码器的统一架构设计,为端侧设备部署低延迟多模态大模型提供了具体参考。