MemEvo:流式视频记忆机制的自动发现
研究人员提出 MemEvo 框架,利用预训练 LLM 迭代生成与优化候选记忆程序,实现流式视频记忆机制的自动发现。该方案基于定义了表征、保留、整合等原语的轻量级领域特定语言,在底层视觉语言模型全程冻结下产出无需训练的有界记忆机制。在 StreamingBench 与 OVO-Bench 评测中,其流式视频理解性能突出且兼具极高的上下文与推理效率。
研究人员提出 MemEvo 框架,利用预训练 LLM 迭代生成与优化候选记忆程序,实现流式视频记忆机制的自动发现。该方案基于定义了表征、保留、整合等原语的轻量级领域特定语言,在底层视觉语言模型全程冻结下产出无需训练的有界记忆机制。在 StreamingBench 与 OVO-Bench 评测中,其流式视频理解性能突出且兼具极高的上下文与推理效率。
研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench,以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本,关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练,使单个模型既能执行纯指令编辑,也支持通过可选视觉引导控制物体的外观与位置。
研究人员提出协同演化奖励框架 CoRe,通过重拟合奖励模型并锚定真实视频偏好,解决视频扩散模型对齐中的潜在奖励黑客问题。针对生成器在数百次更新后脱离分布导致画质崩溃的缺陷,CoRe 将潜在空间对齐转化为生成器与奖励模型的持续动态交互。在 Wan2.1-T2V-1.3B 上的实验显示,CoRe 生成质量持续超越预训练模型和既有对齐方法。
AWS 推出基于 vLLM-Omni 深度学习容器在 SageMaker AI 上实现图像与视频生成的工作流方案。该方案通过实时端点运行 FLUX.2-klein-4B 生成图像,再将其输入异步端点由 Wan2.1-VACE-1.3B 生成 MP4 视频并保存至 Amazon S3。
Future Vision XPRIZE 获奖预告片《The Gifted》现已公布并开放观看。该视频为 Future Vision XPRIZE 竞赛的最终获奖作品预告。
Runway 核心团队受访详解其实时世界模型 GWM Worlds 2 与控制层 WorldPrompt,该模型支持以 720p 24fps 视频和 48,000 Hz 音频流式生成交互式环境。
invideo 借助 GPT-6 Astra 将色彩校正与调色效率提升至 3 倍。通过该模型,invideo 能够以更高精度规划视频剪辑,并支持在一天内制作出 50 种自定义特效。
Higgsfield AI 借助 GPT-6 Astra 在一天内上线了全新视频功能。这项更新降低了小型企业制作视频广告的难度,并推动新的创意工具更快推向市场。
Google DeepMind 与电影人合作推出纪录短片《Love, Rendered》,利用 AI 逐帧重现了一对相伴 70 余年夫妇未被影像记录的相遇场景,以应对认知衰退。团队通过生成式模型修复青年时期的黑白照片,并借助动作捕捉模型将两人当下的微动作与神态映射至年轻面貌。普通用户亦可在 Gemini 应用中上传并修复老照片。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 中推出智能体视频理解功能,支持模型通过工具动态搜索、缩放和检查目标视频片段。
推荐理由:官方给出了动态检索视频帧与音频的新机制,展示了长视频分析在大幅降低成本的同时提升定位精度的具体路径。
Google DeepMind 正式推出 Gemini Omni 1.1 Flash,为开发者带来更强可控性的视频生成与编辑能力。新版本支持分析前 10 秒上下文进行最高 40 秒的场景延展,新增首尾关键帧平滑过渡、参考视频输入以及最高 4K 分辨率放大功能。
推荐理由:模型支持分析前十秒上下文并将单次视频延长至四十秒,有助于开发者构建更可控的影视级生成工作流。
Google DeepMind 推出图像生成模型 Nano Banana 2 Lite 与视频生成编辑模型 Gemini Omni Flash,现已在 Google AI Studio 和 Gemini API 上线。
推荐理由:两款模型分别针对低延迟图像生成与对话式视频编辑,开发者可通过串联工作流实现快速出图并转为视频。
Google DeepMind 推出新一代多模态生成模型 Gemini Omni,并发布该系列的首个模型 Gemini Omni Flash。该模型支持组合图像、音频、视频和文本作为输入来生成视频,并允许用户通过多轮自然语言对话连续编辑动作、角色和场景细节,同时生成内容均嵌入 SynthID 数字水印。
推荐理由:模型结合原生多模态与物理常识推理,支持通过自然语言对话多轮编辑视频,展示了基于世界知识生成连贯动态内容的新路径。
Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。
推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。
Together AI 推出专用于自定义生成式媒体模型的 Dedicated Container Inference 托管服务,支持开发者自带 Docker 容器部署视频生成、数字人合成等非纯文本模型,客户实测获得 1.4 至 2.6 倍的推理加速。