跳到正文

AI 视频

AI 视频生成与理解:文生视频模型、视频编辑工具与影视创作变革的追踪。

最新精选

第 1–9 条 · 共 9 条
10月28日周三
  1. TechCrunch · AI77

    Google DeepMind 发布 Genie 4 世界模型,支持实时音频与动态交互控制

    Google DeepMind 发布最新世界模型 Genie 4 的研究预览版,允许用户在模拟运行中通过提示词实时修改场景,并同步生成环境音、交互对话与背景音乐。该模型将场景一致性维持时间翻倍至两分钟,能与 Gemini 结合用于机器人仿真测试和影视原型构思。目前 Genie 4 已面向受信测试者开放,后续将推向 Google AI Ultra 订阅用户及 Gemini API 合作伙伴。

    推荐理由:新模型把世界模拟时长提升至两分钟并加入实时音频控制,展示了语言模型与视觉生成协同用于仿真和内容原型的路径。

10月20日周二
10月15日周四
  1. 量子位77

    昆仑万维 Skywork 开源游戏世界模型 Matrix-Game 4.0,支持单张 RTX 5090 运行

    昆仑万维旗下 Skywork AI 开源游戏世界模型 Matrix-Game 4.0,可在单张消费级 RTX 5090 显卡上以 60 FPS 实时运行。该方案采用游戏引擎显式维护游戏规则与世界状态、视频模型依据草图和动态提示实时渲染画面的分工架构,按键响应延迟约 112 毫秒,显存峰值约 18.5GiB。相关模型代码与权重已同步上线 GitHub 与 Hugging Face。

    推荐理由:它将游戏引擎的状态判定与视频模型的画面渲染解耦,展示了在消费级单卡上实时运行交互式世界模型的工程路径。

10月9日周五
  1. The Decoder77

    Claude 支持根据文本提示生成动画解说视频与实时数据仪表盘

    Anthropic 为 Claude 推出了 Dashboards 和 Motion 两项测试功能,分别支持根据提示词生成实时数据仪表盘与动画解说视频。

    推荐理由:Dashboards 补齐了多源数据看板的自动查询能力,Motion 则提供了代码级可编辑的视频生成路径,读者可评估其在企业分析与内容制作中的落地价值。

9月2日周三
  1. Google DeepMind81

    Google DeepMind 推出 Gemini 智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 中推出智能体视频理解功能,支持模型通过工具动态搜索、缩放和检查目标视频片段。

    推荐理由:官方给出了动态检索视频帧与音频的新机制,展示了长视频分析在大幅降低成本的同时提升定位精度的具体路径。

8月28日周五
  1. Google DeepMind75

    Google DeepMind 推出 Gemini Omni 1.1 Flash 增强视频生成控制能力

    Google DeepMind 正式推出 Gemini Omni 1.1 Flash,为开发者带来更强可控性的视频生成与编辑能力。新版本支持分析前 10 秒上下文进行最高 40 秒的场景延展,新增首尾关键帧平滑过渡、参考视频输入以及最高 4K 分辨率放大功能。

    推荐理由:模型支持分析前十秒上下文并将单次视频延长至四十秒,有助于开发者构建更可控的影视级生成工作流。

7月1日周三
5月18日周一
  1. Google DeepMind87

    Google DeepMind 发布多模态模型 Gemini Omni

    Google DeepMind 推出新一代多模态生成模型 Gemini Omni,并发布该系列的首个模型 Gemini Omni Flash。该模型支持组合图像、音频、视频和文本作为输入来生成视频,并允许用户通过多轮自然语言对话连续编辑动作、角色和场景细节,同时生成内容均嵌入 SynthID 数字水印。

    推荐理由:模型结合原生多模态与物理常识推理,支持通过自然语言对话多轮编辑视频,展示了基于世界知识生成连贯动态内容的新路径。

5月14日周四
  1. Together AI Blog60

    Together AI 开源视频翻译工具 Violin

    Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。

    推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。