跳到正文

#多模态

今日 2 条
10月1日周四
  1. arXiv cs.AI43

    MemEvo：流式视频记忆机制的自动发现

    研究人员提出 MemEvo 框架，利用预训练 LLM 迭代生成与优化候选记忆程序，实现流式视频记忆机制的自动发现。该方案基于定义了表征、保留、整合等原语的轻量级领域特定语言，在底层视觉语言模型全程冻结下产出无需训练的有界记忆机制。在 StreamingBench 与 OVO-Bench 评测中，其流式视频理解性能突出且兼具极高的上下文与推理效率。

  2. arXiv cs.AI35

    视觉敏感度不等于断言可撤回性：面向多模态强化学习的持久性感知信用分配

    研究人员提出持久性感知信用门控（PACG），通过衰减异常持久视觉断言的正向信用，解决大视觉语言模型中无图像支持断言继承正确回答奖励的问题。该方法无需额外标注且不增加推理成本，在 Qwen2.5-VL-7B 上将 9 项基准测试的平均分在 DAPO 下从 58.1% 提升至 59.9%，在 VPPO 下从 59.8% 提升至 60.9%。

  3. arXiv cs.AI40

    AVIO：学习在音视频场景中添加与移除发声物体

    研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench，以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本，关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练，使单个模型既能执行纯指令编辑，也支持通过可选视觉引导控制物体的外观与位置。

  4. arXiv cs.AI34

    MERID：基于递归自我改进智能体的多模态重度抑郁症分析框架

    研究人员提出多模态抑郁症分析框架 MERID，通过递归自我改进智能体自主优化分类与严重度评估流水线。该框架包含基础状态构建（GSC）、耦合流水线探索（CPE）与证据引导进化（EGE），可联合修改特征表征与融合策略，并基于反馈验证性能提升。实验显示 MERID 在多个抑郁症基准任务上取得最佳表现，相关代码已开源。

  5. arXiv cs.AI43

    FigAct：将科学图表转化为动态解释画布

    FigAct 是一个将静态科学图表转化为动态视觉演示的框架，通过在图体现有元素上生成解说序列并施加视觉动作来引导注意力。该框架采用分层搜索策略进行高效元素定位，将 token 消耗降低约 40×，并通过定位准确度、搜索效率和渲染质量三项奖励训练出 FigAct-8B。研究团队还基于真实论文图表构建了人工核验评测基准。

  6. arXiv cs.AI35

    VLA 的层级之谜：VLA 潜在接口的信息论分析

    针对视觉-语言-动作（VLA）策略潜在接口的信息论分析表明，多层融合优势有限，最佳单层随主干模型与任务基准显著变化。研究提出以动作条件 InfoNCE 作为层质量代理指标，在 LIBERO 和 CALVIN 基准上与策略成功率呈现最一致的正相关。该方法比穷举搜索节省 9-33 倍 GPU 计算量，将平均选择遗憾从选最深层的 17.89 个百分点降至 3.71 个百分点。

  7. arXiv cs.AI28

    GeoOutageBench：面向多模态停电与韧性分析的地理时空 KGQA 评测基准

    研究团队推出评测基准 GeoOutageBench，用于评估大语言模型在多模态停电与电力韧性分析中的地理时空知识图谱问答（KGQA）能力。该基准整合了停电记录、遥感与气象观测等多模态数据，涵盖自然语言转 SPARQL 解析、本体效用评估以及多模态检索回答准确率三项核心评测任务。目前该基准的源码、数据及评测结果已公开发布。

9月30日周三
  1. TechCrunch · AI57

    Marissa Mayer 推出个人 AI 助手 Dazzle，通过手机相册构建个性化记忆

    前雅虎 CEO Marissa Mayer 推出个人 AI 助手 Dazzle，该工具完全通过分析用户手机相册获取上下文，而非读取邮件或日历。Dazzle 支持通过 App 或短信交互，既能扫描近期照片自动填充日历或查找维修人员，也能根据历史照片挖掘兴趣，提供度假与活动建议。产品强调注重隐私并会丢弃敏感信息，目前在复杂细节的记忆上仍有部分盲区。

  2. 量子位31

    西门子与阿丘科技对谈：工业AI的下一个机会在哪？

    阿丘科技将多模态模型与智能体引入半导体产线，使设备综合效率（OEE）与产能提升约25%。西门子Xcelerator与阿丘科技在对谈中指出，工业AI落地难点在于场景高度碎片化与非标交付，需依托生态平台整合资源以实现规模化复制。当前工业AI机会集中在“高价值、数据就绪、技术可行”的制造环节，必须具备工业级可靠性并对生产结果负责。

  3. arXiv cs.LG35

    HeadGuard：低比特 VLM KV cache 量化的选择性注意力头保护方法

    HeadGuard 是一种低比特 VLM KV cache 保护方法，通过将约 1/8 关键物理头保留在 BF16 精度以大幅挽回量化精度损失。在 8 款 VLM 测试中，千问（Qwen）与 InternVL 提升最显著，2 bits 下 8 款模型的 6 项判别任务均分从 0.436 提升至 0.580。该方法无需替换底层量化器，且仅保护 keys 就能以更低存储开销实现显著恢复。

9月29日周二
  2. Microsoft Research56

    微软研究院推出生物学 AI 研究系统 Quine

    微软研究院推出面向生物学研究的 AI 系统 Quine，由生物多模态世界模型与连接文献、工具及实验团队的交互框架组成，用于在计算端预测干预效果并指导实验设计。在与 Broad Institute 合作的胰腺癌研究中，该系统在一个周末内完成了驱动肿瘤细胞状态转变的候选化合物筛选，并在湿实验中得到验证。该技术目前属于实验性质，官方已开放 Quine Fellows 计划供科研人员申请使用。

  3. Latent Space75

    AMD 以 82 亿美元收购 World Labs

    AMD 以 82 亿美元收购空间智能创企 World Labs。World Labs 此前推出了全新模型架构 Atlas，通过结合生成模型与多视图几何来预测新相机视角，试图解决计算机视觉中长期存在的稀疏重建难题，可应用于机器人强化学习环境、场景生成及现实世界重建等领域。该期通讯还汇总了 Anthropic 发布 Claude Sonnet 5.5 的社区反应与第三方接入情况。

9月28日周一
  1. AWS Machine Learning Blog48

    使用 Amazon Nova Act 实现合成监控

    Amazon Nova Act 联合 Amazon Bedrock AgentCore 可实现智能体驱动的合成监控，用于自动化巡检登录、支付等关键用户旅程。其依托多模态大语言模型直接分析 UI 截图并执行自然语言操作，无需维护易碎的 DOM 选择器，在早期企业客户用例中浏览器工作流准确率超过 90%。

9月26日周六
9月25日周五
  1. MIT Technology Review · AI57

    美国五角大楼拟申请3000万美元研发AI测谎仪

    美国国防部在一份尚未获国会批准的预算申请中提议，未来5年投资3030万美元开发名为Polygraph+的新型测谎系统。该项目由国防反间谍与安全局（DCSA）负责，计划结合AI评分算法与无需贴附设备的远距传感技术，用于新员工审查及内部威胁排查。多位学者对此表示质疑，指出测谎本身缺乏真实的客观基准，AI分析微表情或生理数据可能加剧误判与不确定性。

9月24日周四
9月23日周三
9月22日周二
9月21日周一
  1. 橘鸦AI早报35

    AI 早报：Qwen 开源 Qwen-Image-2.1，阶跃星辰发布 Step 5 Preview

    Qwen 正式开源图形生成与编辑模型 Qwen-Image-2.1，视觉生成部分为 7B 参数，原生支持 RGBA 透明图生成与编辑。阶跃星辰发布总参数量 600B、支持百万 Token 上下文的基座模型 Step 5 Preview，已上线官方 API 且权重将于 10 月 15 日开放。此外，Google 开源 Agentic 编排器 AX，腾讯开源文档解析模型 WeVisDoc。

9月17日周四
  1. IEEE Spectrum30

    重新审视 AI 时代的机器人安全

    随着物理 AI 发展，机器人的安全威胁正从传统软硬件故障转向对感知、决策与执行的对抗性操纵，涵盖模型训练、系统架构与运行时感知三层攻击面。研究表明，BadVLA 与成功率达 97% 的 GoBA 可隐蔽篡改运动轨迹，UniPwn 等漏洞链能横向渗透系统夺取控制权，而 VLAttack 等视觉对抗补丁更可将任务成功率降至零。

9月16日周三
  1. Google AI Blog42

    Google：让 AI 适用于每一种语言与每个人

    Google 宣布其产品已支持超 300 种语言，并公布多项语言 AI 进展。Gemini 3.5 Live Translate 实现了 70 种语言与 2,000+ 语言对的实时口语翻译，并带来高精度语音转录模型 Gemini 3.5 Transcribe。此外，Google 推出支持 55 种语言的轻量开源端侧翻译模型家族 TranslateGemma，无需联网即可运行。

9月2日周三
  1. Google DeepMind81

    Google DeepMind 推出 Gemini 智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 中推出智能体视频理解功能，支持模型通过工具动态搜索、缩放和检查目标视频片段。

    推荐理由：官方给出了动态检索视频帧与音频的新机制，展示了长视频分析在大幅降低成本的同时提升定位精度的具体路径。

9月1日周二
8月28日周五
  1. Google DeepMind75

    Google DeepMind 推出 Gemini Omni 1.1 Flash 增强视频生成控制能力

    Google DeepMind 正式推出 Gemini Omni 1.1 Flash，为开发者带来更强可控性的视频生成与编辑能力。新版本支持分析前 10 秒上下文进行最高 40 秒的场景延展，新增首尾关键帧平滑过渡、参考视频输入以及最高 4K 分辨率放大功能。

    推荐理由：模型支持分析前十秒上下文并将单次视频延长至四十秒，有助于开发者构建更可控的影视级生成工作流。

8月26日周三
  1. Google AI Blog26

    用 Google Search 升级家居装饰的 5 种方式

    Google 介绍了利用 Google Search 及其 AI 工具升级家居装饰的 5 种功能。用户可通过 Search 的 AI Mode 上传房间照片生成家具摆放效果图，并用 Google Lens 与 Circle to Search 查找类似家居单品。此外，用户还能借助 Search Live 结合语音与实时摄像头画面获取 DIY 安装指导，并通过价格追踪功能比价。

8月13日周四
  1. Microsoft Research45

    MindTopo 揭示视觉语言模型的空间推理能力

    微软研究院推出全新评测基准 MindTopo，用于评估视觉语言模型在连通性、包围、顺序、分离和绳结五个维度的拓扑空间推理与规划能力。评测结果显示，受测闭源与开源模型在静态推理上的表现普遍显著优于交互规划，且两者均远低于人类水平。模型失误主要出现在行动规划阶段，难以在多步动作序列中持续追踪拓扑结构演变或遵守物理约束。

8月12日周三
7月30日周四
  1. Google DeepMind77

    Google DeepMind 发布具身推理模型 Gemini Robotics ER 2

    Google DeepMind 推出具身推理模型 Gemini Robotics ER 2，作为高层中枢为机器人提供连续视频理解、任务编排与多机协作能力。该模型支持边执行动作边规划后续步骤，可调度底层 VLA 模型及外部工具，在任务进度分类和关键时刻识别上分别取得 57.4% 与 91.3% 的准确率。

    推荐理由：该模型作为高层大脑支持边行动边规划与多机协同，读者可以了解具身智能在任务编排与进度感知上的系统设计。

  2. Google DeepMind63

    Google DeepMind 推出音乐生成模型 Lyria 3.5 并上线 Google Flow Music

    Google DeepMind 正式推出最新音乐生成模型 Lyria 3.5，并于即日起上线 Google Flow Music。该版本提升了旋律结构的自然度与丰富度，增强了歌词生成的结构感知与提示词遵循能力，同时改善了人声情感表现与发音。创作者还可在生成过程中更便捷地调节音乐的节奏与时长。

    推荐理由：该模型重点增强了旋律复杂度与人声情感表现，创作者可借此了解其在歌词对齐及节奏控制上的能力演进。

7月28日周二
7月15日周三
7月1日周三
6月9日周二
  1. Google DeepMind81

    Google 发布 Gemini 3.5 Live Translate 语音同传模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持 70 多种语言的近实时语音转语音翻译。该模型打破了回合式等待限制，能够流式连续生成并保留说话人的语调与语速，音频内嵌 SynthID 水印。

    推荐理由：原文给出了流式同传的具体延迟表现与多端落地渠道，读者可以据此评估实时语音翻译在实际业务中的接入可行性。