跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 45 条
10月28日周三
  1. Google DeepMind77

    Google DeepMind 发布实时交互世界模型 Genie 4

    Google DeepMind 推出新一代实时交互世界模型 Genie 4,支持在模拟运行中通过自然语言实时修改场景并原生生成环境音与交互对话。模型结合 Gemini 系列模型进行上下文因果推理和多步任务拆解,适用于机器人训练环境构建与创意原型探索,生成内容均嵌入 SynthID 数字水印。

    推荐理由:该模型将语言模型的逻辑推理与像素级实时渲染结合,为机器人训练和动态交互仿真提供了可参考的实现路径。

  2. TechCrunch · AI77

    Google DeepMind 发布 Genie 4 世界模型,支持实时音频与动态交互控制

    Google DeepMind 发布最新世界模型 Genie 4 的研究预览版,允许用户在模拟运行中通过提示词实时修改场景,并同步生成环境音、交互对话与背景音乐。该模型将场景一致性维持时间翻倍至两分钟,能与 Gemini 结合用于机器人仿真测试和影视原型构思。目前 Genie 4 已面向受信测试者开放,后续将推向 Google AI Ultra 订阅用户及 Gemini API 合作伙伴。

    推荐理由:新模型把世界模拟时长提升至两分钟并加入实时音频控制,展示了语言模型与视觉生成协同用于仿真和内容原型的路径。

10月27日周二
  1. Simon Willison81

    OpenAI 发布 GPT-6.1 Terra

    OpenAI 推出 GPT-6.1 Terra 模型,主打视觉推理与计算机使用能力,定位为介于 Sol 与 Luna 之间的中档选项。该模型在技术沟通和计算机使用速度上表现更突出,输入定价为每百万 token 1 美元、输出为 5 美元,成本约为 GPT-6.1 Sol 的一半。

    推荐理由:原文对比了该模型在视觉与计算机使用上的速度与成本,便于开发者评估其作为中档方案的调用性价比。

10月24日周六
  1. Google Research64

    Google 分享将基础模型应用于全球结核病一线筛查的落地实践

    Google 展示了将其医疗 AI 基础模型应用于全球结核病(TB)前线筛查的完整落地路径。通过与 Nexus AI 合作,其胸部 X 光筛查算法已获得欧盟 CE MDR Class IIb 认证并在 6 个国家落地,使胸片筛查周转时间缩短至 45 秒内,并在南非深井金矿实现了便携式离线筛查。

    推荐理由:原文展示了医疗 AI 从算法论文到跨国临床认证及开源部署的完整路径,为公共卫生场景的落地提供了实践参考。

10月23日周五
  1. TechCrunch · AI80

    OpenAI 正式全面开放决策模型 Decisions API

    OpenAI 宣布将其决策模型 Decisions API 正式面向所有客户开放,旨在提供快速且低成本的高频选择与分类能力。该接口基于 ChatGPT Luna 重构以将推理延迟压缩至 100 到 180 毫秒,并在公测版本中新增了语音与视觉多模态支持。Box、Datadog 与 Speak 等早期测试客户已使用该 API 替代部分传统大模型工作流,大幅缩短了系统响应时间。

    推荐理由:Decisions API 主打超低延迟决策,读者可以借此了解决策模型在替代传统大模型高频调用场景中的性能表现与成本优势。

10月22日周四
  1. NVIDIA Blog68

    NVIDIA 扩展 Cosmos 平台并开放世界模型训练、评测与部署工具

    NVIDIA 扩展 Cosmos 平台,推出包含 5 个云原生蓝图的 Cosmos Data Factory、全新训练框架及 Cosmos 3 Nano 仿真模型变体,帮助开发者加速物理 AI 与世界模型的开发与落地。

    推荐理由:这套工具通过合成数据生成与闭环仿真评测,为实体AI开发者打通了从物理场景采集到模型微调部署的完整流程。

10月21日周三
  1. NVIDIA Blog81

    NVIDIA 扩展开源模型矩阵,发布 Nemotron 3.5、Kumo 等多领域模型

    NVIDIA 扩展了覆盖语言、结构化数据、机器人、生物学和量子计算的开源模型家族,推出 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Kumo 及 Cosmos 3.5 等多领域基础模型。

    推荐理由:文章系统梳理了覆盖语言、物理模拟与生物计算等领域的开源模型矩阵,读者可借此了解不同垂直业务场景下的模型选型与落地路径。

10月20日周二
10月17日周六
  1. Solidot86

    Meta 发布开放权重模型 Muse Spark Open

    Meta 发布开放权重多模态模型 Muse Spark Open,拥有 8160 亿总参数和 420 亿激活参数,支持 100 万 Token 上下文。该模型结合苹果开源框架 MLX 针对统一内存进行了优化,两台搭载 M5 Ultra 芯片的 Mac Studio 即可部署运行。目前模型权重已在 Hugging Face 正式上线。

    推荐理由:该模型通过适配苹果 MLX 框架与统一内存架构,让超大参数规模的开放多模态模型能够在两台桌面工作站上直接本地运行。

10月16日周五
  1. 量子位85

    谷歌发布新一代旗舰模型 Gemini 4 Argon 并开启 API 限时半价

    谷歌正式面向全球开发者、企业及付费订阅用户推出 Gemini 4 Argon 模型,重点强化了长流程任务执行与多模态能力。在第三方智能指数中其高配版本追平竞品旗舰水平,API 首发推出半价优惠,并在代码库维护、机器人仿真以及科研实验设计等真实场景中完成了长流程验证。

    推荐理由:原文汇总了新模型的评测数据、成本表现与实际工程实践,读者可以直观了解其在长流程任务上的落地效果。

  2. The Verge · AI80

    Meta 与苹果合作优化 Muse Spark Open 模型在 Mac 上的运行表现

    Meta 发布拥有 816B 总参数的开源多模态模型 Muse Spark Open,并与苹果合作使其能够在搭载最新 MLX 框架的两台 Apple M5 Ultra Mac Studio 上进行桌面端本地运行。该模型主打长周期任务、复杂软件工程与多步骤推理能力,苹果也同步发布了关于 MLX 适配的技术说明。

    推荐理由:原文展现了两家科技巨头在桌面端大模型运行上的合作,读者可据此了解超大参数模型在本地硬件框架下的适配进展。

10月15日周四
10月14日周三
  1. 量子位76

    面壁智能开源多模态模型 MiniCPM-V 4.7,35B MoE 仅需 3G 内存

    面壁智能与 OpenBMB 正式开源端侧多模态模型 MiniCPM-V 4.7,推出 35B-A3B MoE 与 1.3B 两个版本,其中 35B 版本仅占用约 3G 内存即可在手机离线运行。该模型采用前瞻专家调度、混合精度量化与视觉压缩等技术,在 iPhone 17 Pro Max 上解码速度超过 13 tokens/s,并已适配 iOS、安卓及鸿蒙等多个系统平台。

    推荐理由:模型通过前瞻专家调度和混合精度量化降低内存占用,为端侧设备离线运行大参数多模态模型提供了实用方案。

10月13日周二
  1. The Decoder79

    Meta 发布前沿模型 Muse Wonder 及 Muse Wonder Full

    Meta 发布前沿模型 Muse Wonder 及其高阶版本 Muse Wonder Full,支持 1M 上下文窗口与多模态输入。新模型在终端交互评测 Terminal-Bench 4.0 与编码基准上表现大幅提升,并引入跨会话记忆 Active Memory 等智能体特性。虽然幻觉率有所下降,但模型的事实知识得分仍落后于主要竞品,且输入与输出 Token 价格相比前代显著上涨。

    推荐理由:原文给出了模型在智能体能力上的提升与成本涨幅,有助于读者权衡其落地实用性。

10月10日周六
  1. Cloudflare Blog75

    Cloudflare 发布全模态决策模型 Clef-omni 并升级 Clef 系列

    Cloudflare 正式发布开源权重决策模型 Clef-omni,原生支持文本、图像、音频与视频联合输入,并在 Hugging Face 开源权重。该模型基于 Qwen3-Omni-30B-A3B-Instruct 架构构建,跳过输出 token 生成以实现低延迟直接打分。

    推荐理由:原文给出了决策模型统一处理音视频输入的方法,适合需要精简多模态处理流水线的工程团队参考。

10月8日周四
  1. The Verge · AI85

    ChatGPT 推出 Intelligent UI 功能并接入 GPT-6 Sol 与 Luna 模型

    OpenAI 宣布在 ChatGPT 中推出 Intelligent UI 功能,聊天机器人可在文本中内嵌图表、表单与可点击按钮等交互组件,并同步接入 GPT-6 模型。付费订阅用户即日起可用中端 GPT-6 Sol 模型,免费及 Go 层级用户将于周四获得高效率的 GPT-6 Luna;新模型同时提升了联网搜索能力与安全防护表现。

    推荐理由:原文梳理了交互界面更新与不同订阅层级模型的分发策略,读者可以了解文本交互向组件化工具演进的具体路径。

  2. TechCrunch · AI86

    OpenAI 为 ChatGPT 推出 Intelligent UI 交互界面

    OpenAI 为 ChatGPT 推出名为 Intelligent UI 的全新界面,支持在对话中直接生成可点击按钮、定制计算器与可编辑图表等交互式视觉元素。该功能旨在降低复杂主题的学习门槛并支持用户调节视觉生成密度,已随 GPT-6 面向 Pro、Plus、Business 和 Enterprise 用户全球上线,随后向免费与低价 Go 订阅层开放。

    推荐理由:报道展示了聊天机器人从纯文本向可交互微组件的演进,有助于评估日常任务和复杂知识学习的体验变化。