跳到正文

#视频

今日 0 条
11月1日周日
  1. The Decoder57

    Google 联合团队提出 StreamVibe 视频智能体:探索主动判断介入时机

    Google 与斯坦福、牛津等机构联合推出 StreamVibe 视频智能体,旨在让 AI 在观察用户工作时自主判断何时该保持安静或主动提供指导。研究团队构建了涵盖 183 小时日常与软件录屏的 4,100 个基准样本,并基于 Qwen3.5-9B 与强化学习训练出 StreamVibe-VL 模型,搭配独立记忆系统跟踪任务状态以减少不必要打扰。

10月31日周六
  1. arXiv cs.LG33

    Floor It, Then Fill It:十亿级用户视频推荐系统的创作者生态模拟与公平分配研究

    研究团队提出了面向十亿级视频推荐系统的生态仿真框架,对约 42K 创作者及其 12 周内的互动进行建模,以评估基于预算多臂老虎机(MAB)的公平曝光分配策略。测试表明,结合保底播放目标与均等差距奖励的方案可确保创作者每周达成 90% 的观看目标,使小型创作者每周自然触达增长约 +33%,并实现 0.819 的 Jaccard 分配稳定性。

10月28日周三
  1. arXiv cs.AI44

    InfiniteWorld:将视觉证据与已知物理规律分离

    研究人员推出物理推理基准 InfiniteWorld,通过将问题与系统性修改物理参数的模拟视频配对,测试视频语言模型能否依据视觉证据进行推理。该基准涵盖定律识别、参数估计和定律归纳等 5 项任务,并提供纯文本与视频帧等 5 种配对输入设置。评测显示现有模型普遍依赖地球常规规律,在观测物理动态改变时仍频繁给出常规答案。

  2. arXiv cs.AI36

    Isharah-Selfie:面向单手手语的连续手语识别数据集

    研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie,专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子,同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战,目前数据集已开放获取。

10月23日周五
  1. arXiv cs.LG38

    运动等变卷积 LSTM:当运动成为规范对称性

    研究者提出运动等变卷积 LSTM(MELSTM),将时序运动建模为规范对称性,利用速度模型作为规范场,在数学上证明对任意运动均具备等变性。在相同参数量下,MELSTM 在未来帧预测、动态数字分类及相机抖动动作识别任务中全面优于标准卷积 LSTM 及其流等变模型。该模型不仅准确率更高,还能泛化至更长周期和未见运动,且状态占用仅为流等变模型的一小部分。

10月22日周四
10月21日周三
  1. Physics World46

    加利福尼亚大学洛杉矶分校研究团队利用光学物理原理检测 Deepfake 视频

    加利福尼亚大学洛杉矶分校团队研发出一种光学-神经网络混合系统,能以高达 97.8% 的准确率检测 Deepfake 视频。该系统能单步并行处理 15 个及以上独立视频流,在 Celeb-DF 数据集上达到 97.79% 的平均准确率与 99.86% 的灵敏度,并在 Google VEO-3 生成视频测试中取得 94.80% 准确率。

10月19日周一
10月16日周五
  1. arXiv cs.AI27

    用于高效印度手语识别的混合运动学 GCN 与弹性 Transformer 框架

    研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。

10月12日周一
  1. arXiv cs.LG42

    DiffusionART:高效、稳定且可扩展的扩散模型强化学习方法

    研究人员提出扩散模型强化学习方法 DiffusionART,无需可微奖励模型和 EMA 调优即可实现高效稳定训练,并已开源代码。在 HunyuanVideo-13B 任务中,该方法达到同类方案后期平均奖励水平所需的 GPU 工时比 DiffusionNFT 和 Flow-GRPO-Fast 分别减少 12.02 倍与 11.72 倍,平均训练奖励分别提升 28.8% 和 53.0%。

  2. arXiv cs.LG40

    CacheScope:面向免训练扩散模型加速的精确计算分配

    研究人员提出免训练扩散模型加速方法 CacheScope,通过在线识别高风险特征复用步骤并回退至完整计算,实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络,利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上,其中位数 LPIPS 较最强探针基线降低最高达 70.1%。

10月8日周四
  1. arXiv cs.LG35

    面向多维序列建模的 Tucker 瓶颈注意力机制 TuBA

    研究人员提出 Tucker 瓶颈注意力机制(TuBA),通过将隐藏张量投影至低秩紧凑核心执行注意力与线性投影,实现面向多维长序列的亚二次方计算复杂度。该机制还支持核心内双向交互与核心间因果注意力相结合的自回归扩展。相比标准自注意力,TuBA 在视频预测上最高降低 24.7% 误差与 66.6% 计算量,在自回归天气预报中降低 37.1% 误差与 85.1% 计算量,加速达 4.27 倍。

10月3日周六
  1. arXiv cs.LG33

    面向高效生成模型对齐的流形约束初始噪声优化

    研究团队提出免梯度初始噪声对齐方法 ZeNOVA,以解决黑盒奖励场景下生成模型对齐不稳定与效率低的问题。该方法结合退火软值引导、流形约束超球面朗之万动力学与 Metropolis-Hastings 跳跃机制优化初始噪声。图像与视频生成模型实验表明,ZeNOVA 超越所有受测零阶基线,在黑盒奖励对齐中表现出更高的稳定性与奖励收益。

10月1日周四
  1. arXiv cs.AI43

    MemEvo:流式视频记忆机制的自动发现

    研究人员提出 MemEvo 框架,利用预训练 LLM 迭代生成与优化候选记忆程序,实现流式视频记忆机制的自动发现。该方案基于定义了表征、保留、整合等原语的轻量级领域特定语言,在底层视觉语言模型全程冻结下产出无需训练的有界记忆机制。在 StreamingBench 与 OVO-Bench 评测中,其流式视频理解性能突出且兼具极高的上下文与推理效率。

  2. arXiv cs.AI40

    AVIO:学习在音视频场景中添加与移除发声物体

    研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench,以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本,关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练,使单个模型既能执行纯指令编辑,也支持通过可选视觉引导控制物体的外观与位置。

  3. arXiv cs.AI37

    CoRe:通过协同演化奖励模型缓解视频扩散模型潜在奖励黑客问题

    研究人员提出协同演化奖励框架 CoRe,通过重拟合奖励模型并锚定真实视频偏好,解决视频扩散模型对齐中的潜在奖励黑客问题。针对生成器在数百次更新后脱离分布导致画质崩溃的缺陷,CoRe 将潜在空间对齐转化为生成器与奖励模型的持续动态交互。在 Wan2.1-T2V-1.3B 上的实验显示,CoRe 生成质量持续超越预训练模型和既有对齐方法。