跳到正文

#视频

今日 0 条
10月31日周六
  1. arXiv cs.LG33

    Floor It, Then Fill It:十亿级用户视频推荐系统的创作者生态模拟与公平分配研究

    研究团队提出了面向十亿级视频推荐系统的生态仿真框架,对约 42K 创作者及其 12 周内的互动进行建模,以评估基于预算多臂老虎机(MAB)的公平曝光分配策略。测试表明,结合保底播放目标与均等差距奖励的方案可确保创作者每周达成 90% 的观看目标,使小型创作者每周自然触达增长约 +33%,并实现 0.819 的 Jaccard 分配稳定性。

10月28日周三
  1. arXiv cs.AI44

    InfiniteWorld:将视觉证据与已知物理规律分离

    研究人员推出物理推理基准 InfiniteWorld,通过将问题与系统性修改物理参数的模拟视频配对,测试视频语言模型能否依据视觉证据进行推理。该基准涵盖定律识别、参数估计和定律归纳等 5 项任务,并提供纯文本与视频帧等 5 种配对输入设置。评测显示现有模型普遍依赖地球常规规律,在观测物理动态改变时仍频繁给出常规答案。

  2. arXiv cs.AI36

    Isharah-Selfie:面向单手手语的连续手语识别数据集

    研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie,专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子,同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战,目前数据集已开放获取。

10月23日周五
  1. arXiv cs.LG38

    运动等变卷积 LSTM:当运动成为规范对称性

    研究者提出运动等变卷积 LSTM(MELSTM),将时序运动建模为规范对称性,利用速度模型作为规范场,在数学上证明对任意运动均具备等变性。在相同参数量下,MELSTM 在未来帧预测、动态数字分类及相机抖动动作识别任务中全面优于标准卷积 LSTM 及其流等变模型。该模型不仅准确率更高,还能泛化至更长周期和未见运动,且状态占用仅为流等变模型的一小部分。

10月22日周四
10月19日周一
  1. NVIDIA Blog45

    NVIDIA 推进媒体领域智能体安全,覆盖欧洲公共广播与全球内容制作

    NVIDIA 宣布与欧洲广播联盟(EBU)合作扩展主权框架,联合主权云服务商与 NVIDIA Nemotron 开源模型,帮助广播机构在保障数据主权的前提下部署 AI 智能体。同时,Adobe Frame.io 采用 NVIDIA GPU 加速视频智能体搜索,实现嵌入向量生成速度提升约 5x、吞吐量提升最高 4x 且搜索延迟降低最高 5x。德国制作公司 UFA 已借助该技术加速影视素材检索。

10月16日周五
  1. arXiv cs.AI27

    用于高效印度手语识别的混合运动学 GCN 与弹性 Transformer 框架

    研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。

10月14日周三
10月12日周一
  1. arXiv cs.LG42

    DiffusionART:高效、稳定且可扩展的扩散模型强化学习方法

    研究人员提出扩散模型强化学习方法 DiffusionART,无需可微奖励模型和 EMA 调优即可实现高效稳定训练,并已开源代码。在 HunyuanVideo-13B 任务中,该方法达到同类方案后期平均奖励水平所需的 GPU 工时比 DiffusionNFT 和 Flow-GRPO-Fast 分别减少 12.02 倍与 11.72 倍,平均训练奖励分别提升 28.8% 和 53.0%。

  2. arXiv cs.LG40

    CacheScope:面向免训练扩散模型加速的精确计算分配

    研究人员提出免训练扩散模型加速方法 CacheScope,通过在线识别高风险特征复用步骤并回退至完整计算,实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络,利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上,其中位数 LPIPS 较最强探针基线降低最高达 70.1%。

10月9日周五
10月8日周四
  1. arXiv cs.LG35

    面向多维序列建模的 Tucker 瓶颈注意力机制 TuBA

    研究人员提出 Tucker 瓶颈注意力机制(TuBA),通过将隐藏张量投影至低秩紧凑核心执行注意力与线性投影,实现面向多维长序列的亚二次方计算复杂度。该机制还支持核心内双向交互与核心间因果注意力相结合的自回归扩展。相比标准自注意力,TuBA 在视频预测上最高降低 24.7% 误差与 66.6% 计算量,在自回归天气预报中降低 37.1% 误差与 85.1% 计算量,加速达 4.27 倍。

10月3日周六
  1. arXiv cs.LG33

    面向高效生成模型对齐的流形约束初始噪声优化

    研究团队提出免梯度初始噪声对齐方法 ZeNOVA,以解决黑盒奖励场景下生成模型对齐不稳定与效率低的问题。该方法结合退火软值引导、流形约束超球面朗之万动力学与 Metropolis-Hastings 跳跃机制优化初始噪声。图像与视频生成模型实验表明,ZeNOVA 超越所有受测零阶基线,在黑盒奖励对齐中表现出更高的稳定性与奖励收益。

10月1日周四
  1. arXiv cs.AI43

    MemEvo:流式视频记忆机制的自动发现

    研究人员提出 MemEvo 框架,利用预训练 LLM 迭代生成与优化候选记忆程序,实现流式视频记忆机制的自动发现。该方案基于定义了表征、保留、整合等原语的轻量级领域特定语言,在底层视觉语言模型全程冻结下产出无需训练的有界记忆机制。在 StreamingBench 与 OVO-Bench 评测中,其流式视频理解性能突出且兼具极高的上下文与推理效率。

  2. arXiv cs.AI40

    AVIO:学习在音视频场景中添加与移除发声物体

    研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench,以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本,关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练,使单个模型既能执行纯指令编辑,也支持通过可选视觉引导控制物体的外观与位置。

  3. arXiv cs.AI37

    CoRe:通过协同演化奖励模型缓解视频扩散模型潜在奖励黑客问题

    研究人员提出协同演化奖励框架 CoRe,通过重拟合奖励模型并锚定真实视频偏好,解决视频扩散模型对齐中的潜在奖励黑客问题。针对生成器在数百次更新后脱离分布导致画质崩溃的缺陷,CoRe 将潜在空间对齐转化为生成器与奖励模型的持续动态交互。在 Wan2.1-T2V-1.3B 上的实验显示,CoRe 生成质量持续超越预训练模型和既有对齐方法。

9月29日周二
9月23日周三
9月21日周一
9月10日周四
  1. Google AI Blog45

    Google DeepMind 用 AI 逐帧重现 70 年爱情故事

    Google DeepMind 与电影人合作推出纪录短片《Love, Rendered》,利用 AI 逐帧重现了一对相伴 70 余年夫妇未被影像记录的相遇场景,以应对认知衰退。团队通过生成式模型修复青年时期的黑白照片,并借助动作捕捉模型将两人当下的微动作与神态映射至年轻面貌。普通用户亦可在 Gemini 应用中上传并修复老照片。

9月2日周三
  1. Google DeepMind81

    Google DeepMind 推出 Gemini 智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 中推出智能体视频理解功能,支持模型通过工具动态搜索、缩放和检查目标视频片段。

    推荐理由:官方给出了动态检索视频帧与音频的新机制,展示了长视频分析在大幅降低成本的同时提升定位精度的具体路径。

8月28日周五
  1. Google DeepMind75

    Google DeepMind 推出 Gemini Omni 1.1 Flash 增强视频生成控制能力

    Google DeepMind 正式推出 Gemini Omni 1.1 Flash,为开发者带来更强可控性的视频生成与编辑能力。新版本支持分析前 10 秒上下文进行最高 40 秒的场景延展,新增首尾关键帧平滑过渡、参考视频输入以及最高 4K 分辨率放大功能。

    推荐理由:模型支持分析前十秒上下文并将单次视频延长至四十秒,有助于开发者构建更可控的影视级生成工作流。

7月1日周三
5月18日周一
  1. Google DeepMind87

    Google DeepMind 发布多模态模型 Gemini Omni

    Google DeepMind 推出新一代多模态生成模型 Gemini Omni,并发布该系列的首个模型 Gemini Omni Flash。该模型支持组合图像、音频、视频和文本作为输入来生成视频,并允许用户通过多轮自然语言对话连续编辑动作、角色和场景细节,同时生成内容均嵌入 SynthID 数字水印。

    推荐理由:模型结合原生多模态与物理常识推理,支持通过自然语言对话多轮编辑视频,展示了基于世界知识生成连贯动态内容的新路径。

5月14日周四
  1. Together AI Blog60

    Together AI 开源视频翻译工具 Violin

    Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。

    推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。

2月12日周四