Google 联合团队提出 StreamVibe 视频智能体:探索主动判断介入时机
Google 与斯坦福、牛津等机构联合推出 StreamVibe 视频智能体,旨在让 AI 在观察用户工作时自主判断何时该保持安静或主动提供指导。研究团队构建了涵盖 183 小时日常与软件录屏的 4,100 个基准样本,并基于 Qwen3.5-9B 与强化学习训练出 StreamVibe-VL 模型,搭配独立记忆系统跟踪任务状态以减少不必要打扰。
Google 与斯坦福、牛津等机构联合推出 StreamVibe 视频智能体,旨在让 AI 在观察用户工作时自主判断何时该保持安静或主动提供指导。研究团队构建了涵盖 183 小时日常与软件录屏的 4,100 个基准样本,并基于 Qwen3.5-9B 与强化学习训练出 StreamVibe-VL 模型,搭配独立记忆系统跟踪任务状态以减少不必要打扰。
研究团队提出了面向十亿级视频推荐系统的生态仿真框架,对约 42K 创作者及其 12 周内的互动进行建模,以评估基于预算多臂老虎机(MAB)的公平曝光分配策略。测试表明,结合保底播放目标与均等差距奖励的方案可确保创作者每周达成 90% 的观看目标,使小型创作者每周自然触达增长约 +33%,并实现 0.819 的 Jaccard 分配稳定性。
研究人员推出物理推理基准 InfiniteWorld,通过将问题与系统性修改物理参数的模拟视频配对,测试视频语言模型能否依据视觉证据进行推理。该基准涵盖定律识别、参数估计和定律归纳等 5 项任务,并提供纯文本与视频帧等 5 种配对输入设置。评测显示现有模型普遍依赖地球常规规律,在观测物理动态改变时仍频繁给出常规答案。
研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie,专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子,同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战,目前数据集已开放获取。
研究者提出运动等变卷积 LSTM(MELSTM),将时序运动建模为规范对称性,利用速度模型作为规范场,在数学上证明对任意运动均具备等变性。在相同参数量下,MELSTM 在未来帧预测、动态数字分类及相机抖动动作识别任务中全面优于标准卷积 LSTM 及其流等变模型。该模型不仅准确率更高,还能泛化至更长周期和未见运动,且状态占用仅为流等变模型的一小部分。
研究人员提出免训练框架 Omni-Woodpecker(OWP),通过跨模态冲突检测与隐藏状态正交分解,在解码前抑制误导性先验并恢复有效证据,从而修正 Omni LLM 的跨模态模型幻觉。
加利福尼亚大学洛杉矶分校团队研发出一种光学-神经网络混合系统,能以高达 97.8% 的准确率检测 Deepfake 视频。该系统能单步并行处理 15 个及以上独立视频流,在 Celeb-DF 数据集上达到 97.79% 的平均准确率与 99.86% 的灵敏度,并在 Google VEO-3 生成视频测试中取得 94.80% 准确率。
研究人员针对条件扩散模型中的无分类器引导(CFG)机制,提出了轻量级的原型正则化(PR)方法,通过塑造潜在空间类别几何来提升引导生成质量。
研究者提出免训练的推理阶段框架 TSG(Temporal Specification Guidance),通过形式化时序逻辑表达视频中的顺序、定时与持续性要求,引导文本生成视频的采样过程。
AcrossVAM2.0 提出了一种针对视频扩散模型的冲突感知点监督微调方法,在 5.01B 参数的文生视频 Diffusion Transformer 上结合了置信度加权追踪头、零初始化残差反馈与非对称 PCGrad 梯度投影。
研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。
研究人员提出扩散模型强化学习方法 DiffusionART,无需可微奖励模型和 EMA 调优即可实现高效稳定训练,并已开源代码。在 HunyuanVideo-13B 任务中,该方法达到同类方案后期平均奖励水平所需的 GPU 工时比 DiffusionNFT 和 Flow-GRPO-Fast 分别减少 12.02 倍与 11.72 倍,平均训练奖励分别提升 28.8% 和 53.0%。
研究人员提出免训练扩散模型加速方法 CacheScope,通过在线识别高风险特征复用步骤并回退至完整计算,实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络,利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上,其中位数 LPIPS 较最强探针基线降低最高达 70.1%。
研究人员提出 Tucker 瓶颈注意力机制(TuBA),通过将隐藏张量投影至低秩紧凑核心执行注意力与线性投影,实现面向多维长序列的亚二次方计算复杂度。该机制还支持核心内双向交互与核心间因果注意力相结合的自回归扩展。相比标准自注意力,TuBA 在视频预测上最高降低 24.7% 误差与 66.6% 计算量,在自回归天气预报中降低 37.1% 误差与 85.1% 计算量,加速达 4.27 倍。
研究团队提出免梯度初始噪声对齐方法 ZeNOVA,以解决黑盒奖励场景下生成模型对齐不稳定与效率低的问题。该方法结合退火软值引导、流形约束超球面朗之万动力学与 Metropolis-Hastings 跳跃机制优化初始噪声。图像与视频生成模型实验表明,ZeNOVA 超越所有受测零阶基线,在黑盒奖励对齐中表现出更高的稳定性与奖励收益。
研究人员提出 MemEvo 框架,利用预训练 LLM 迭代生成与优化候选记忆程序,实现流式视频记忆机制的自动发现。该方案基于定义了表征、保留、整合等原语的轻量级领域特定语言,在底层视觉语言模型全程冻结下产出无需训练的有界记忆机制。在 StreamingBench 与 OVO-Bench 评测中,其流式视频理解性能突出且兼具极高的上下文与推理效率。
研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench,以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本,关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练,使单个模型既能执行纯指令编辑,也支持通过可选视觉引导控制物体的外观与位置。
研究人员提出协同演化奖励框架 CoRe,通过重拟合奖励模型并锚定真实视频偏好,解决视频扩散模型对齐中的潜在奖励黑客问题。针对生成器在数百次更新后脱离分布导致画质崩溃的缺陷,CoRe 将潜在空间对齐转化为生成器与奖励模型的持续动态交互。在 Wan2.1-T2V-1.3B 上的实验显示,CoRe 生成质量持续超越预训练模型和既有对齐方法。