跳到正文

#多模态

今日 0 条
11月2日周一
  1. 量子位64

    商汤发布日日新 SenseNova 6.8 Flash 多模态智能体模型

    商汤科技发布多模态智能体模型日日新 SenseNova 6.8 Flash,主打用户仅需设定目标即可全流程自主执行的委派智能,已在小浣熊客户端限时免费开放。该模型支持 3D 动态网页、动态海报、SVG 动画及动态 PPT 生成,并在实测中展现了结合长期记忆主动核对与修订旧文档数据的办公能力;官方评测显示其在 TeamBench 和 DataAnalysis2.0 基准中取得第一。

10月30日周五
  1. 量子位64

    智元发布具身基座模型GO-3 Preview与交互大模型WITA-OMNI

    智元在创新日发布具身基座模型GO-3 Preview与全模态端到端交互大模型WITA-OMNI,并提出衡量物理AI有效工时的单位Worken。GO-3 Preview采用具身原生架构WRAM以提升精细作业与跨本体迁移能力,WITA-OMNI则采用快慢双系统实现免唤醒词的自然交互。此外,智元还推出了第三代硬件架构AHA3、重载机器人精灵G2 Max以及计划开源的具身原生操作系统灵渠OS 1.0。

10月29日周四
10月28日周三
  1. 量子位72

    百度开源文心 Unlimited OCR 2:KV Cache 占用减少 96%,支持千页超长文档连续解析

    百度正式开源文心 Unlimited OCR 2,通过稀疏参考滑动窗口注意力机制与无限解码机制,实现千页级超长文档的连续解析。在百页级单序列测试中,该方案将峰值 KV Cache 占用从 47GB 降至 1.77GB,降幅达 96%,16 路并发下端到端吞吐量达 1315 Token/秒。目前相关代码和模型已在 GitHub 与 Hugging Face 正式开源。

  2. Google DeepMind77

    Google DeepMind 发布实时交互世界模型 Genie 4

    Google DeepMind 推出新一代实时交互世界模型 Genie 4,支持在模拟运行中通过自然语言实时修改场景并原生生成环境音与交互对话。模型结合 Gemini 系列模型进行上下文因果推理和多步任务拆解,适用于机器人训练环境构建与创意原型探索,生成内容均嵌入 SynthID 数字水印。

    推荐理由:该模型将语言模型的逻辑推理与像素级实时渲染结合,为机器人训练和动态交互仿真提供了可参考的实现路径。

  3. The Verge · AI67

    Google 发布 Genie 4 世界模型,支持更逼真的交互体验与实时语言控制

    Google 正式宣布推出 Genie 4 世界模型,可生成长达约两分钟的交互式虚拟体验。该模型支持使用自然语言提示词实时更新场景,新增了音频生成功能,并由底层的 Gemini 3.8 Flash 辅助模拟运行。目前 Genie 4 作为研究预览向受信任测试人员开放,后续将登陆 Google AI Ultra 订阅服务,主要适用于游戏原型设计、影视前期预览以及机器人训练环境构建。

  4. The Decoder75

    Google DeepMind 推出世界模型 Genie 4:支持实时交互生成与声音对话,结合 Gemini 进行后台规划

    Google DeepMind 推出实时交互世界模型 Genie 4,支持通过键盘和文本提示词逐帧渲染交互场景,并原生生成背景音频与角色对话。模型基于 Gemini Omni 视频能力构建,并由 Gemini 3.8 Flash 等模型在后台执行多步任务规划以维持世界连贯性,还可与 Gemini Robotics 结合模拟人形机器人操作。

  5. TechCrunch · AI77

    Google DeepMind 发布 Genie 4 世界模型,支持实时音频与动态交互控制

    Google DeepMind 发布最新世界模型 Genie 4 的研究预览版,允许用户在模拟运行中通过提示词实时修改场景,并同步生成环境音、交互对话与背景音乐。该模型将场景一致性维持时间翻倍至两分钟,能与 Gemini 结合用于机器人仿真测试和影视原型构思。目前 Genie 4 已面向受信测试者开放,后续将推向 Google AI Ultra 订阅用户及 Gemini API 合作伙伴。

    推荐理由:新模型把世界模拟时长提升至两分钟并加入实时音频控制,展示了语言模型与视觉生成协同用于仿真和内容原型的路径。

10月27日周二
  1. Simon Willison81

    OpenAI 发布 GPT-6.1 Terra

    OpenAI 推出 GPT-6.1 Terra 模型,主打视觉推理与计算机使用能力,定位为介于 Sol 与 Luna 之间的中档选项。该模型在技术沟通和计算机使用速度上表现更突出,输入定价为每百万 token 1 美元、输出为 5 美元,成本约为 GPT-6.1 Sol 的一半。

    推荐理由:原文对比了该模型在视觉与计算机使用上的速度与成本,便于开发者评估其作为中档方案的调用性价比。

10月26日周一
  1. 科学网67

    面壁智能联合OpenBMB开源端侧多模态模型MiniCPM V 4.7

    面壁智能联合OpenBMB社区开源端侧多模态模型MiniCPM V 4.7,推出35B A3B与1B两个版本以适配不同移动终端。其中35B MoE版本采用前瞻专家调度技术实现计算与读取并行,官方测试显示预取命中率超过80%,可在保持原有路由精度下降低内存占用并提升生成速度。该项目同步配套权重分层存储、分级视觉token压缩与投机解码优化,目前已适配多家芯片厂商和主流推理框架。

10月21日周三
  1. NVIDIA Blog81

    NVIDIA 扩展开源模型矩阵,发布 Nemotron 3.5、Kumo 等多领域模型

    NVIDIA 扩展了覆盖语言、结构化数据、机器人、生物学和量子计算的开源模型家族,推出 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Kumo 及 Cosmos 3.5 等多领域基础模型。

    推荐理由:文章系统梳理了覆盖语言、物理模拟与生物计算等领域的开源模型矩阵,读者可借此了解不同垂直业务场景下的模型选型与落地路径。

10月20日周二
10月17日周六
  1. Solidot86

    Meta 发布开放权重模型 Muse Spark Open

    Meta 发布开放权重多模态模型 Muse Spark Open,拥有 8160 亿总参数和 420 亿激活参数,支持 100 万 Token 上下文。该模型结合苹果开源框架 MLX 针对统一内存进行了优化,两台搭载 M5 Ultra 芯片的 Mac Studio 即可部署运行。目前模型权重已在 Hugging Face 正式上线。

    推荐理由:该模型通过适配苹果 MLX 框架与统一内存架构,让超大参数规模的开放多模态模型能够在两台桌面工作站上直接本地运行。

10月16日周五
  1. 量子位85

    谷歌发布新一代旗舰模型 Gemini 4 Argon 并开启 API 限时半价

    谷歌正式面向全球开发者、企业及付费订阅用户推出 Gemini 4 Argon 模型,重点强化了长流程任务执行与多模态能力。在第三方智能指数中其高配版本追平竞品旗舰水平,API 首发推出半价优惠,并在代码库维护、机器人仿真以及科研实验设计等真实场景中完成了长流程验证。

    推荐理由:原文汇总了新模型的评测数据、成本表现与实际工程实践,读者可以直观了解其在长流程任务上的落地效果。

  2. Latent Space31

    AINews:AI 智能体反驳多语义性,大幅提升模型可解释性与对齐

    Goodfire 的 Nick Cammarata 撰文提出“神经网络本身已足够干净”,指出多语义性与特征叠加现象经 AI 智能体深入分析后被逐一破解,大幅改善了模型可解释性与对齐。同日 Meta 发布多模态 MoE 模型 Muse Spark Open,拥有 816B 总参数与 42B 激活参数,支持 1M 上下文,以 39 分位列 Artificial Analysis 美国开放权重模型榜首。

  3. The Verge · AI80

    Meta 与苹果合作优化 Muse Spark Open 模型在 Mac 上的运行表现

    Meta 发布拥有 816B 总参数的开源多模态模型 Muse Spark Open,并与苹果合作使其能够在搭载最新 MLX 框架的两台 Apple M5 Ultra Mac Studio 上进行桌面端本地运行。该模型主打长周期任务、复杂软件工程与多步骤推理能力,苹果也同步发布了关于 MLX 适配的技术说明。

    推荐理由:原文展现了两家科技巨头在桌面端大模型运行上的合作,读者可据此了解超大参数模型在本地硬件框架下的适配进展。

10月15日周四
10月14日周三
  1. 量子位76

    面壁智能开源多模态模型 MiniCPM-V 4.7,35B MoE 仅需 3G 内存

    面壁智能与 OpenBMB 正式开源端侧多模态模型 MiniCPM-V 4.7,推出 35B-A3B MoE 与 1.3B 两个版本,其中 35B 版本仅占用约 3G 内存即可在手机离线运行。该模型采用前瞻专家调度、混合精度量化与视觉压缩等技术,在 iPhone 17 Pro Max 上解码速度超过 13 tokens/s,并已适配 iOS、安卓及鸿蒙等多个系统平台。

    推荐理由:模型通过前瞻专家调度和混合精度量化降低内存占用,为端侧设备离线运行大参数多模态模型提供了实用方案。

10月13日周二
  1. 量子位39

    魔法原子具身Agent框架拿下MolmoSpaces全球第一

    魔法原子旗下的通用机器人VLM Agent框架EchoPolicy-0在AI2发起的MolmoSpaces评测中,以75.4%的平均成功率位列MolmoSpaces Combined榜单全球第一。其3.4B参数的自研Agent框架MagicBrain也以72.4%的平均成功率位列全球第四,并在抓取任务中取得94.4%成功率。两套方案分别通过轨迹筛选验证与视觉引导优化指令遵循,已在单臂平台完成验证。

  2. The Decoder79

    Meta 发布前沿模型 Muse Wonder 及 Muse Wonder Full

    Meta 发布前沿模型 Muse Wonder 及其高阶版本 Muse Wonder Full,支持 1M 上下文窗口与多模态输入。新模型在终端交互评测 Terminal-Bench 4.0 与编码基准上表现大幅提升,并引入跨会话记忆 Active Memory 等智能体特性。虽然幻觉率有所下降,但模型的事实知识得分仍落后于主要竞品,且输入与输出 Token 价格相比前代显著上涨。

    推荐理由:原文给出了模型在智能体能力上的提升与成本涨幅,有助于读者权衡其落地实用性。

10月12日周一
  1. 科学网60

    肺癌病理基因大模型 DeepGEM 2.0 正式发布

    广州医科大学附属第一医院与金域医学联合发布肺癌病理基因多模态大模型 DeepGEM 2.0,正式进入大规模临床应用验证阶段。模型依托常规数字病理切片开展分析,最快 1 分钟即可完成国内已获批肺癌靶向药对应基因的预筛,预测精确度最高达 90%。该技术后续将轻量化部署至超 500 家医疗机构,有望通过初筛分流将肺癌基因检测费用降至数百元区间。

10月11日周日
  1. 科学网61

    肺癌病理基因多模态大模型 DeepGEM 2.0 正式发布

    广州医科大学附属第一医院与金域医学联合发布肺癌病理基因多模态大模型 DeepGEM 2.0,最快 1 分钟即可基于常规数字病理切片预测相关基因变异。模型将可预测基因数量从 6 个扩展至 12 个,覆盖当前国内肺癌获批靶向药对应基因,预测精确度最高达 90%。全国 50 家医疗机构已启动多中心科研项目验证,未来计划部署至超 500 家医疗机构以降低检测门槛与成本。

10月10日周六
  1. Cloudflare Blog75

    Cloudflare 发布全模态决策模型 Clef-omni 并升级 Clef 系列

    Cloudflare 正式发布开源权重决策模型 Clef-omni,原生支持文本、图像、音频与视频联合输入,并在 Hugging Face 开源权重。该模型基于 Qwen3-Omni-30B-A3B-Instruct 架构构建,跳过输出 token 生成以实现低延迟直接打分。

    推荐理由:原文给出了决策模型统一处理音视频输入的方法,适合需要精简多模态处理流水线的工程团队参考。

10月8日周四
  1. 量子位66

    生数科技开放 Vidu Q4 预览版视频大模型

    生数科技开放新一代视频生成旗舰模型 Vidu Q4 预览版,支持最高 4K 直出以及最多 15 张参考图和 3 段参考音频。该版本主打更细腻的人物情绪演绎、复杂镜头调度与环境光影交互,单条最长生成 16 秒。在成本方面,SaaS 端限时优惠下 720P 视频生成起步价约 0.09 元/秒,MaaS 端图生视频 720P 约 0.6 元/秒。

10月7日周三
  1. The Decoder73

    Google 发布多模态嵌入模型 EmbeddingGemma 2

    Google 开源多模态嵌入模型 EmbeddingGemma 2,参数量为 740M,支持将文本、图像、视频、音频与代码转为向量。该模型在浏览器端通过 WebGPU 单次查询耗时约 20 至 70 毫秒,仅需约 191 MB 内存,纯文本任务另提供 270M 版本。模型权重已上线 Hugging Face 与 Kaggle,可配合小型开源模型在本地离线运行 RAG 应用。

10月6日周二
  1. TechCrunch · AI71

    Mistral AI 发布 1T 参数多模态模型 Mistral Large 4

    Mistral AI 推出拥有 1T 参数的大型多模态模型 Mistral Large 4(ML4,代号 Le Chonk),目前仅通过带防护栏的公开端点提供访问,并计划在三周安全测试后开源权重。该模型完全依托其自身算力训练且仅消耗 4000 张 NVIDIA GPU,重点针对网络安全、金融和芯片设计等关键场景进行了针对性优化。

  2. The Decoder79

    Mistral 发布万亿参数多模态模型 Mistral Large 4 预览版

    Mistral 发布 Mistral Large 4 公开预览版,API 现已上线 Mistral Studio,模型权重预计 10 月底开放。该模型采用细粒度 MoE 架构,总参数量达 1.05 万亿且激活参数 490 亿,原生支持多模态与 100 万 token 上下文窗口。

    推荐理由:模型在放宽网络安全任务限制的同时主打欧洲本地部署,展示了开源模型在特定企业合规与安全防护场景中的差异化定位。

  3. The Decoder69

    Reka AI 发布全模态模型 Rho-1,单个模型统一处理文本、视频与机器人控制

    Reka AI 发布 19B 参数的全模态模型 Rho-1 研究预览版,在单个神经网络内统一处理和生成文本、图像、视频及机器人控制动作。该模型将所有模态作为 token 置于同一上下文窗口中,无需外部模型或工具调用,可实时生成连续视频并直接驱动机器人运动。团队还构建了逆动力学模型从普通互联网视频提取控制信号,以缓解机器人训练数据稀缺问题。

10月4日周日
10月3日周六
  1. The Decoder70

    Cloudflare 发布 Clef 与 Clef-flash 决策模型

    Cloudflare 推出 Clef 和 Clef-flash 两款专为 AI 智能体打造的决策模型,旨在以概率化分类输出替代冗长文本推理并减少人工干预。模型分别基于 Qwen3.8-27B 和 Qwen3.5-9B 构建,支持图像多模态输入与 64,000 token 上下文,Clef-flash 中位延迟低至约 39 毫秒。

10月2日周五
  1. The Decoder59

    Tavus 推出实时视频交互模型 Griffin,近半数受试者在通话中误认为真人

    Tavus 推出用于实时面对面双向视频对话的交互模型 Griffin,测试中有 48% 的受试者在一分钟视频通话中将其误认为真人。该模型可同步处理并生成语音、面部表情、语调与手势,在拟真度测试中获得 3.83 分,接近人类得分的 3.92 分。目前精简版本 Griffin-Lite 已向指定测试人员开放研究预览,主要面向辅导教学与客服支持等场景。

10月1日周四