跳到正文

多模态

文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。

45条精选相关主题图像生成AI 视频语音与音频

最新精选

第 21–40 条 · 共 45 条
10月7日周三
10月6日周二
  1. The Decoder79

    Mistral 发布万亿参数多模态模型 Mistral Large 4 预览版

    Mistral 发布 Mistral Large 4 公开预览版，API 现已上线 Mistral Studio，模型权重预计 10 月底开放。该模型采用细粒度 MoE 架构，总参数量达 1.05 万亿且激活参数 490 亿，原生支持多模态与 100 万 token 上下文窗口。

    推荐理由：模型在放宽网络安全任务限制的同时主打欧洲本地部署，展示了开源模型在特定企业合规与安全防护场景中的差异化定位。

10月1日周四
  2. Cloudflare Blog68

    Cloudflare AI Search 正式商用并上线原生多模态检索

    Cloudflare 宣布托管索引与检索管线 AI Search 正式商用（GA），整合 Workers AI、Vectorize 和 R2 等底层能力。新版本支持基于 Qwen3-VL-Embedding 的原生图像嵌入与图文双模态检索、PDF OCR 识别，并将文件大小上限提升至 10 MiB。

    推荐理由：原文拆解了从单纯依赖描述生成到结合原生像素嵌入的多模态检索链路，读者可以据此评估将图文检索迁移到边缘托管管线的成本与可行性。

9月25日周五
9月23日周三
9月2日周三
  1. Google DeepMind81

    Google DeepMind 推出 Gemini 智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 中推出智能体视频理解功能，支持模型通过工具动态搜索、缩放和检查目标视频片段。

    推荐理由：官方给出了动态检索视频帧与音频的新机制，展示了长视频分析在大幅降低成本的同时提升定位精度的具体路径。

8月28日周五
  1. Google DeepMind75

    Google DeepMind 推出 Gemini Omni 1.1 Flash 增强视频生成控制能力

    Google DeepMind 正式推出 Gemini Omni 1.1 Flash，为开发者带来更强可控性的视频生成与编辑能力。新版本支持分析前 10 秒上下文进行最高 40 秒的场景延展，新增首尾关键帧平滑过渡、参考视频输入以及最高 4K 分辨率放大功能。

    推荐理由：模型支持分析前十秒上下文并将单次视频延长至四十秒，有助于开发者构建更可控的影视级生成工作流。

8月12日周三
7月30日周四
  1. Google DeepMind77

    Google DeepMind 发布具身推理模型 Gemini Robotics ER 2

    Google DeepMind 推出具身推理模型 Gemini Robotics ER 2，作为高层中枢为机器人提供连续视频理解、任务编排与多机协作能力。该模型支持边执行动作边规划后续步骤，可调度底层 VLA 模型及外部工具，在任务进度分类和关键时刻识别上分别取得 57.4% 与 91.3% 的准确率。

    推荐理由：该模型作为高层大脑支持边行动边规划与多机协同，读者可以了解具身智能在任务编排与进度感知上的系统设计。

  2. Google DeepMind63

    Google DeepMind 推出音乐生成模型 Lyria 3.5 并上线 Google Flow Music

    Google DeepMind 正式推出最新音乐生成模型 Lyria 3.5，并于即日起上线 Google Flow Music。该版本提升了旋律结构的自然度与丰富度，增强了歌词生成的结构感知与提示词遵循能力，同时改善了人声情感表现与发音。创作者还可在生成过程中更便捷地调节音乐的节奏与时长。

    推荐理由：该模型重点增强了旋律复杂度与人声情感表现，创作者可借此了解其在歌词对齐及节奏控制上的能力演进。

7月28日周二
7月15日周三
7月1日周三
6月9日周二
  1. Google DeepMind81

    Google 发布 Gemini 3.5 Live Translate 语音同传模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持 70 多种语言的近实时语音转语音翻译。该模型打破了回合式等待限制，能够流式连续生成并保留说话人的语调与语速，音频内嵌 SynthID 水印。

    推荐理由：原文给出了流式同传的具体延迟表现与多端落地渠道，读者可以据此评估实时语音翻译在实际业务中的接入可行性。

  2. Google DeepMind83

    Google DeepMind 推出 Gemma 4 12B 无编码器统一多模态模型

    Google DeepMind 正式推出 Gemma 4 12B 多模态模型，采用无独立编码器的统一架构，原生支持视觉与音频输入直接接入 LLM 主干。该模型在标准基准上的性能接近 26B MoE 模型，内存占用减少超一半，可在具备 16GB 显存或统一内存的笔记本电脑上本地运行。模型采用 Apache 2.0 协议开源，支持通过 Hugging Face、Ollama 和 vLLM 等工具部署。

    推荐理由：原文解析了移除视觉和音频编码器的统一架构设计，为端侧设备部署低延迟多模态大模型提供了具体参考。

6月2日周二
  1. Together AI Blog68

    Together AI 详解 MiniMax-M3 推理优化：实现 1M 上下文与多模态高效部署

    Together AI 作为首选云合作伙伴，详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention，使预填充阶段加速超 9 倍、解码加速超 15 倍；同时借助 Rust 模型网关在 CPU 端预处理音视频，在典型智能体场景下将推理性能提升了 81% 至 125%。

    推荐理由：文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案，对长上下文大模型的生产级部署具有直接的工程参考价值。

5月18日周一
  1. Google DeepMind73

    Google DeepMind 结合街景数据升级 Project Genie：支持生成真实世界交互环境

    Google DeepMind 宣布在实验原型 Project Genie 中引入 Google 街景锚定能力，支持基于真实地理图像生成可交互的虚拟环境，并逐步向全球 Google AI Ultra 订阅用户开放。用户可以在美国地图上选点并搭配特定艺术风格与角色提示词生成对应世界，为智能体与机器人导航交互提供仿真支持。该街景生成能力目前支持美国境内地点，未来将逐步扩展至更多地区。

    推荐理由：原文展示了世界模型结合真实地理街景生成交互环境的具体方式，为智能体与机器人仿真训练提供了现实落地的参考路径。

  2. Google DeepMind87

    Google DeepMind 发布多模态模型 Gemini Omni

    Google DeepMind 推出新一代多模态生成模型 Gemini Omni，并发布该系列的首个模型 Gemini Omni Flash。该模型支持组合图像、音频、视频和文本作为输入来生成视频，并允许用户通过多轮自然语言对话连续编辑动作、角色和场景细节，同时生成内容均嵌入 SynthID 数字水印。

    推荐理由：模型结合原生多模态与物理常识推理，支持通过自然语言对话多轮编辑视频，展示了基于世界知识生成连贯动态内容的新路径。

5月17日周日