Google 联合团队提出 StreamVibe 视频智能体:探索主动判断介入时机
Google 与斯坦福、牛津等机构联合推出 StreamVibe 视频智能体,旨在让 AI 在观察用户工作时自主判断何时该保持安静或主动提供指导。研究团队构建了涵盖 183 小时日常与软件录屏的 4,100 个基准样本,并基于 Qwen3.5-9B 与强化学习训练出 StreamVibe-VL 模型,搭配独立记忆系统跟踪任务状态以减少不必要打扰。
Google 与斯坦福、牛津等机构联合推出 StreamVibe 视频智能体,旨在让 AI 在观察用户工作时自主判断何时该保持安静或主动提供指导。研究团队构建了涵盖 183 小时日常与软件录屏的 4,100 个基准样本,并基于 Qwen3.5-9B 与强化学习训练出 StreamVibe-VL 模型,搭配独立记忆系统跟踪任务状态以减少不必要打扰。
研究团队提出了面向十亿级视频推荐系统的生态仿真框架,对约 42K 创作者及其 12 周内的互动进行建模,以评估基于预算多臂老虎机(MAB)的公平曝光分配策略。测试表明,结合保底播放目标与均等差距奖励的方案可确保创作者每周达成 90% 的观看目标,使小型创作者每周自然触达增长约 +33%,并实现 0.819 的 Jaccard 分配稳定性。
AI 原生影视公司 Utopai Studios 完成 6000 万美元融资,估值达 10 亿美元独角兽线,并已获下一轮 20 亿至 30 亿美元投资意向。其基于 MiniMax H3 定制的视频模型 Utopai X 在 Artificial Analysis 全球文生和图生视频盲评榜中均位列第二,配合自研制片智能系统 PAI 接入真实影视管线。
英伟达与麻省理工学院研究团队在 Hugging Face 开源了基于 MiniMax H3 的视频增强项目 Open-H3-Regenerate-2K,最高支持 3840×2160 的原生 4K 视频重生成。
Genspark 正式上线视频智能体工作台 Media Studio,接入 20 多家厂商的 70 多个模型版本,由大语言模型充当导演统一调度剧本、图像、视频与音频生成。平台提供故事圣经管理角色与场景设定,支持 3D 白模预演、代码渲染知识讲解片、局部重拍与单帧编辑,并可导出工程文件供专业软件精修。
研究人员推出物理推理基准 InfiniteWorld,通过将问题与系统性修改物理参数的模拟视频配对,测试视频语言模型能否依据视觉证据进行推理。该基准涵盖定律识别、参数估计和定律归纳等 5 项任务,并提供纯文本与视频帧等 5 种配对输入设置。评测显示现有模型普遍依赖地球常规规律,在观测物理动态改变时仍频繁给出常规答案。
研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie,专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子,同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战,目前数据集已开放获取。
Google DeepMind 发布最新世界模型 Genie 4 的研究预览版,允许用户在模拟运行中通过提示词实时修改场景,并同步生成环境音、交互对话与背景音乐。该模型将场景一致性维持时间翻倍至两分钟,能与 Gemini 结合用于机器人仿真测试和影视原型构思。目前 Genie 4 已面向受信测试者开放,后续将推向 Google AI Ultra 订阅用户及 Gemini API 合作伙伴。
推荐理由:新模型把世界模拟时长提升至两分钟并加入实时音频控制,展示了语言模型与视觉生成协同用于仿真和内容原型的路径。
Grok 与 Wonder Studios 及导演 Dev Walker 合作发布了 AI 生成版《奥德赛》第一集,公开了前 7 分钟视频片段。作者实测后指出,尽管个别航海画面具备一定的写实度,但整体缺乏艺术感与戏剧张力,旁白冗长且台词生硬。该片此前由马斯克宣布制作,旨在对抗诺兰执导的实拍版《奥德赛》,目前仅上线了前 7 分钟内容。
重庆达瓦科技凭借实时世界模型 Scenes AI 获得 NVIDIA 创业企业展示卓越企业奖。该模型总参数 34B,单步稀疏激活约 4B,在单张 NVIDIA GeForce RTX 消费级显卡上实现了 720P、25 帧实时输出。其推理速度相比传统视频扩散方案提升 3—5 倍、GPU 消耗降低 40%—60%,目标编辑成功率达 98.2%。
研究者提出运动等变卷积 LSTM(MELSTM),将时序运动建模为规范对称性,利用速度模型作为规范场,在数学上证明对任意运动均具备等变性。在相同参数量下,MELSTM 在未来帧预测、动态数字分类及相机抖动动作识别任务中全面优于标准卷积 LSTM 及其流等变模型。该模型不仅准确率更高,还能泛化至更长周期和未见运动,且状态占用仅为流等变模型的一小部分。
Simon Willison 分享了 DE STAAT 的歌曲《FREEDOM》官方音乐视频。该博文被其标注了生成式 AI(generative-ai)、AI 及音乐等分类标签。
中国科学技术馆出品、西安电子科技大学支持的AI微短剧《1935年的来电,请接听》于10月22日正式上线。该剧以长征通信史中李建华、王诤、曾希圣等通信工作者的真实故事为原型,借助AI影像再现长征时期的技术探索与历史情境,展现电台、信号与信息传递的科学知识及人物精神。
研究人员提出免训练框架 Omni-Woodpecker(OWP),通过跨模态冲突检测与隐藏状态正交分解,在解码前抑制误导性先验并恢复有效证据,从而修正 Omni LLM 的跨模态模型幻觉。
加利福尼亚大学洛杉矶分校团队研发出一种光学-神经网络混合系统,能以高达 97.8% 的准确率检测 Deepfake 视频。该系统能单步并行处理 15 个及以上独立视频流,在 Celeb-DF 数据集上达到 97.79% 的平均准确率与 99.86% 的灵敏度,并在 Google VEO-3 生成视频测试中取得 94.80% 准确率。
Kling AI 正式发布 4.0 版本,单次生成时长提升至最高 30 秒并支持 10 张关键帧输入,同时推出了生成速度更快且成本更低的 Flash 轻量变体。
推荐理由:新版本不仅提升了生成时长与参考素材控制精度,还开放了 CLI 与 MCP 接口以便接入智能体工作流。
NVIDIA 宣布与欧洲广播联盟(EBU)合作扩展主权框架,联合主权云服务商与 NVIDIA Nemotron 开源模型,帮助广播机构在保障数据主权的前提下部署 AI 智能体。同时,Adobe Frame.io 采用 NVIDIA GPU 加速视频智能体搜索,实现嵌入向量生成速度提升约 5x、吞吐量提升最高 4x 且搜索延迟降低最高 5x。德国制作公司 UFA 已借助该技术加速影视素材检索。
研究人员针对条件扩散模型中的无分类器引导(CFG)机制,提出了轻量级的原型正则化(PR)方法,通过塑造潜在空间类别几何来提升引导生成质量。
VAST 正式发布并开源实时世界模型 EdenLive,核心采用世界状态与视觉渲染解耦路线,已开放模型权重、推理代码及技术报告。在单张消费级显卡 RTX 5090 上,其 5B 模型在 720P 分辨率下生成速度超过 24FPS,端到端延迟为百毫秒级并支持分钟级连续运行。该模型可将 2D/3D 简化场景或参考视频结合提示词实时渲染为不同画风,适用于交互式游戏预览、视频风格重绘以及具身智能数据增强。
广州南方学院师生历时3年共创的纪录片《祖先的山海》于10月15日正式亮相,并被广州图书馆“粤侨影忆”专藏永久收藏。该片由20余名师生深度参与并融合数字人文与AIGC影像创作等手段完成,真实记录了马来西亚华人律师余家福携家族三代回祖籍地汕尾陆河寻根团圆的历程。
研究者提出免训练的推理阶段框架 TSG(Temporal Specification Guidance),通过形式化时序逻辑表达视频中的顺序、定时与持续性要求,引导文本生成视频的采样过程。
AcrossVAM2.0 提出了一种针对视频扩散模型的冲突感知点监督微调方法,在 5.01B 参数的文生视频 Diffusion Transformer 上结合了置信度加权追踪头、零初始化残差反馈与非对称 PCGrad 梯度投影。
研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。
昆仑万维旗下 Skywork AI 开源游戏世界模型 Matrix-Game 4.0,可在单张消费级 RTX 5090 显卡上以 60 FPS 实时运行。该方案采用游戏引擎显式维护游戏规则与世界状态、视频模型依据草图和动态提示实时渲染画面的分工架构,按键响应延迟约 112 毫秒,显存峰值约 18.5GiB。相关模型代码与权重已同步上线 GitHub 与 Hugging Face。
推荐理由:它将游戏引擎的状态判定与视频模型的画面渲染解耦,展示了在消费级单卡上实时运行交互式世界模型的工程路径。
以@十万个挑战和AI版《变形计》为代表的AI综艺近期在抖音等短视频平台走红,单条视频获赞达百万级别。依托LibTV等AI视频生成平台,创作者可将单集制作成本压缩至2000至5000元,并在约一周内完成制作。目前LibTV已与抖音未来导演扶持计划达成合作,向创作者提供算力、创作工具和流量支持,推动AI内容走向系列化IP运营。
Higgsfield 将 AI 视频生成时长从 1 分钟拓展至 10 分钟以上。平台借助 GPT-6 Astra 为创作者提供更长视频制作能力,并结合 GPT-Image-2.5 实现精准的视觉呈现。此外,Higgsfield 还通过 GPT-Live 为创作者开辟了语音电影制作的新路径。
尼康主办的 Small World in Motion 显微摄影比赛宣布取消此前获得一等奖的肺部纤毛运动视频资格,原因是该作品违反了禁止提交 AI 生成视频的赛事规则。
研究人员提出扩散模型强化学习方法 DiffusionART,无需可微奖励模型和 EMA 调优即可实现高效稳定训练,并已开源代码。在 HunyuanVideo-13B 任务中,该方法达到同类方案后期平均奖励水平所需的 GPU 工时比 DiffusionNFT 和 Flow-GRPO-Fast 分别减少 12.02 倍与 11.72 倍,平均训练奖励分别提升 28.8% 和 53.0%。
研究人员提出免训练扩散模型加速方法 CacheScope,通过在线识别高风险特征复用步骤并回退至完整计算,实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络,利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上,其中位数 LPIPS 较最强探针基线降低最高达 70.1%。
Odyssey 推出生成式世界模型 Odyssey-3 的公开研究预览并开放免费在线体验,支持根据文本提示词实时生成可交互的虚拟环境。该模型基于自回归 Diffusion Transformer 架构,基础版拥有 14B 参数,提供第一人称与第三人称视角的实时物理模拟。除交互场景生成外,Odyssey 还展示了将其控制器应用于机械臂抓取、无人机避障及游戏自主操作等多任务场景。
广东保伦电子牵头研发的多源音视频协同调度与全数字会议系统两项科技成果通过专家鉴定,整体技术达到国际先进水平。其中音视频项目实现了码流16Mb/s下传输1080P画质、本地端到端时延10ms以内及多路视频毫秒级低延迟边缘推理;会议系统项目攻克了128路话筒并发低时延技术,并实现链路故障10ms内拓扑重构与隔离切换。
哈佛商学院在创业训练营 HBS Foundry 中上线了 7 位教师的 AI 交互数字分身,学员可通过视频通话反复进行路演和董事会模拟。该项目与视频生成公司 HeyGen 合作,定价 699 美元并刻意训练 AI 避免迎合倾向以主动质疑创业者,已在全美 100 多所大学测试。佐治亚理工、帝国理工商学院及伊利诺伊大学厄巴纳—香槟分校也在探索类似虚拟助教与课件自动生成。
Anthropic 为 Claude 推出了 Dashboards 和 Motion 两项测试功能,分别支持根据提示词生成实时数据仪表盘与动画解说视频。
推荐理由:Dashboards 补齐了多源数据看板的自动查询能力,Motion 则提供了代码级可编辑的视频生成路径,读者可评估其在企业分析与内容制作中的落地价值。
Pollo AI 借助 OpenAI 的 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5 模型,帮助创作者将创意构想转化为细节丰富的图像与电影级视频广告。
生数科技开放新一代视频生成旗舰模型 Vidu Q4 预览版,支持最高 4K 直出以及最多 15 张参考图和 3 段参考音频。该版本主打更细腻的人物情绪演绎、复杂镜头调度与环境光影交互,单条最长生成 16 秒。在成本方面,SaaS 端限时优惠下 720P 视频生成起步价约 0.09 元/秒,MaaS 端图生视频 720P 约 0.6 元/秒。
研究人员提出 Tucker 瓶颈注意力机制(TuBA),通过将隐藏张量投影至低秩紧凑核心执行注意力与线性投影,实现面向多维长序列的亚二次方计算复杂度。该机制还支持核心内双向交互与核心间因果注意力相结合的自回归扩展。相比标准自注意力,TuBA 在视频预测上最高降低 24.7% 误差与 66.6% 计算量,在自回归天气预报中降低 37.1% 误差与 85.1% 计算量,加速达 4.27 倍。
AI原生影视公司 Utopai Studios 旗下视频模型 Utopai X 在 Artificial Analysis 文生视频盲测榜单中获得 1150 分,位列全球第二。
由前 Ramp 工程师创办的广告创意 AI 平台 Melius 宣布累计完成 $25M 融资,其中包括由 CRV 领投的 $20M A 轮融资。该团队在彻底废弃最初的广告优化产品后转型构建创意 AI 智能体平台,用于生成广告、图像和视频。团队表示自 7 月结束隐形模式后,在两个月内年化收入已突破 $1M。
研究团队提出免梯度初始噪声对齐方法 ZeNOVA,以解决黑盒奖励场景下生成模型对齐不稳定与效率低的问题。该方法结合退火软值引导、流形约束超球面朗之万动力学与 Metropolis-Hastings 跳跃机制优化初始噪声。图像与视频生成模型实验表明,ZeNOVA 超越所有受测零阶基线,在黑盒奖励对齐中表现出更高的稳定性与奖励收益。
Tavus 推出用于实时面对面双向视频对话的交互模型 Griffin,测试中有 48% 的受试者在一分钟视频通话中将其误认为真人。该模型可同步处理并生成语音、面部表情、语调与手势,在拟真度测试中获得 3.83 分,接近人类得分的 3.92 分。目前精简版本 Griffin-Lite 已向指定测试人员开放研究预览,主要面向辅导教学与客服支持等场景。