CAMOS：用于多模态临床时间序列的耦合振荡状态空间模型
研究人员提出 CAMOS，一种用于多模态临床时间序列的耦合振荡状态空间模型，通过受可用性门控的耦合矩阵让转移算子自适应测量缺失，同时保留并行扫描。在 ADNI 基准上，CAMOS 在分期、界标预测和纵向预测中均优于未耦合模型与临床融合模型。在零样本迁移至 OASIS-3 时，它是唯一避免坍缩至多数类的模型。
#多模态
#多模态
今日 2 条arXiv stat.MLAI 评分3636 arXiv cs.LGAI 评分3030 EnergyEminence：基于物理电网数字孪生的源感知环境校准与评估
EnergyEminence 平台结合 IEEE 118 节点式图时序预测与非线性交流级联模拟，构建了具备野火检测校准的电网数字孪生测试环境。基于 16 个合成视频生成的 160 个电网场景测试中，该系统取得 10 个真阳性、8 个假阳性、22 个真阴性且无假阴性。该诊断揭示了随机划分掩盖的环境捷径学习，并为解耦环境预警与电气级联推理提供了可检验评估流程。
arXiv cs.LGAI 评分3434 面向地震与测井表征学习的物理跨模态掩码自编码器 CM-MAE
CM-MAE 是一种物理跨模态掩码自编码器，通过四轴旋转位置嵌入与 MoE 层联合学习 3D 地震体与 1D 稀疏测井数据的表征。该模型在涵盖约 17.8 万平方公里的 23 个地震体及约 9.2 万口井上预训练，地震上下文使留出测井重构效果提升 9.73%。在离岸盐体识别评估中其 AUROC 达 0.910，并在陆上未知工区保留了地层构造。
arXiv cs.AIAI 评分4343 MemEvo：流式视频记忆机制的自动发现
研究人员提出 MemEvo 框架，利用预训练 LLM 迭代生成与优化候选记忆程序，实现流式视频记忆机制的自动发现。该方案基于定义了表征、保留、整合等原语的轻量级领域特定语言，在底层视觉语言模型全程冻结下产出无需训练的有界记忆机制。在 StreamingBench 与 OVO-Bench 评测中，其流式视频理解性能突出且兼具极高的上下文与推理效率。
arXiv cs.AIAI 评分3535 视觉敏感度不等于断言可撤回性：面向多模态强化学习的持久性感知信用分配
研究人员提出持久性感知信用门控（PACG），通过衰减异常持久视觉断言的正向信用，解决大视觉语言模型中无图像支持断言继承正确回答奖励的问题。该方法无需额外标注且不增加推理成本，在 Qwen2.5-VL-7B 上将 9 项基准测试的平均分在 DAPO 下从 58.1% 提升至 59.9%，在 VPPO 下从 59.8% 提升至 60.9%。
arXiv cs.AIAI 评分4040 AVIO：学习在音视频场景中添加与移除发声物体
研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench，以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本，关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练，使单个模型既能执行纯指令编辑，也支持通过可选视觉引导控制物体的外观与位置。
arXiv cs.AIAI 评分3434 MERID：基于递归自我改进智能体的多模态重度抑郁症分析框架
研究人员提出多模态抑郁症分析框架 MERID，通过递归自我改进智能体自主优化分类与严重度评估流水线。该框架包含基础状态构建（GSC）、耦合流水线探索（CPE）与证据引导进化（EGE），可联合修改特征表征与融合策略，并基于反馈验证性能提升。实验显示 MERID 在多个抑郁症基准任务上取得最佳表现，相关代码已开源。
arXiv cs.AIAI 评分4343 FigAct：将科学图表转化为动态解释画布
FigAct 是一个将静态科学图表转化为动态视觉演示的框架，通过在图体现有元素上生成解说序列并施加视觉动作来引导注意力。该框架采用分层搜索策略进行高效元素定位，将 token 消耗降低约 40×，并通过定位准确度、搜索效率和渲染质量三项奖励训练出 FigAct-8B。研究团队还基于真实论文图表构建了人工核验评测基准。
arXiv cs.AIAI 评分3535 VLA 的层级之谜：VLA 潜在接口的信息论分析
针对视觉-语言-动作（VLA）策略潜在接口的信息论分析表明，多层融合优势有限，最佳单层随主干模型与任务基准显著变化。研究提出以动作条件 InfoNCE 作为层质量代理指标，在 LIBERO 和 CALVIN 基准上与策略成功率呈现最一致的正相关。该方法比穷举搜索节省 9-33 倍 GPU 计算量，将平均选择遗憾从选最深层的 17.89 个百分点降至 3.71 个百分点。
arXiv cs.AIAI 评分2828 GeoOutageBench：面向多模态停电与韧性分析的地理时空 KGQA 评测基准
研究团队推出评测基准 GeoOutageBench，用于评估大语言模型在多模态停电与电力韧性分析中的地理时空知识图谱问答（KGQA）能力。该基准整合了停电记录、遥感与气象观测等多模态数据，涵盖自然语言转 SPARQL 解析、本体效用评估以及多模态检索回答准确率三项核心评测任务。目前该基准的源码、数据及评测结果已公开发布。
AWS Machine Learning BlogAI 评分4444 在 SageMaker AI 上使用 vLLM-Omni 生成图像与视频（第 2 部分）
AWS 推出基于 vLLM-Omni 深度学习容器在 SageMaker AI 上实现图像与视频生成的工作流方案。该方案通过实时端点运行 FLUX.2-klein-4B 生成图像，再将其输入异步端点由 Wan2.1-VACE-1.3B 生成 MP4 视频并保存至 Amazon S3。
AWS Machine Learning BlogAI 评分4646 在 SageMaker AI 上使用 vLLM-Omni 构建实时语音应用（第 1 部分）
AWS 介绍了在 Amazon SageMaker AI 上使用 vLLM-Omni 深度学习容器部署 Qwen3-TTS 模型的实时语音方案。该方案通过基于 HTTP/2 的持久双向 WebSocket 连接实现文本流式输入，并实时返回 24 kHz PCM 音频块。
arXiv cs.LGAI 评分3535 HeadGuard：低比特 VLM KV cache 量化的选择性注意力头保护方法
HeadGuard 是一种低比特 VLM KV cache 保护方法，通过将约 1/8 关键物理头保留在 BF16 精度以大幅挽回量化精度损失。在 8 款 VLM 测试中，千问（Qwen）与 InternVL 提升最显著，2 bits 下 8 款模型的 6 项判别任务均分从 0.436 提升至 0.580。该方法无需替换底层量化器，且仅保护 keys 就能以更低存储开销实现显著恢复。
arXiv cs.LGAI 评分2525 CALIBRA：面向可迁移哮喘风险预测的校准优先跨队列多模态时序学习
研究人员提出校准优先的多模态时序框架 CALIBRA，用于在数据缺失与分布偏移下实现可迁移的短期哮喘恶化风险预测。该框架通过门控与梯度反转训练抑制模态缺失及队列特征，并结合 split conformal prediction 输出校准概率与预测集。
AWS Machine Learning BlogAI 评分5151 Condé Nast 基于 Amazon Bedrock 构建多模态视频检索方案
Condé Nast 联合 AWS 利用 Amazon Bedrock、Amazon OpenSearch Service 与 TwelveLabs Marengo 嵌入模型，为其超 14 万个视频的媒体库构建了多模态语义检索方案。
Microsoft ResearchAI 评分5656 微软研究院推出生物学 AI 研究系统 Quine
微软研究院推出面向生物学研究的 AI 系统 Quine，由生物多模态世界模型与连接文献、工具及实验团队的交互框架组成，用于在计算端预测干预效果并指导实验设计。在与 Broad Institute 合作的胰腺癌研究中，该系统在一个周末内完成了驱动肿瘤细胞状态转变的候选化合物筛选，并在湿实验中得到验证。该技术目前属于实验性质，官方已开放 Quine Fellows 计划供科研人员申请使用。
AWS Machine Learning BlogAI 评分4848 使用 Amazon Nova Act 实现合成监控
Amazon Nova Act 联合 Amazon Bedrock AgentCore 可实现智能体驱动的合成监控，用于自动化巡检登录、支付等关键用户旅程。其依托多模态大语言模型直接分析 UI 截图并执行自然语言操作，无需维护易碎的 DOM 选择器，在早期企业客户用例中浏览器工作流准确率超过 90%。
AWS Machine Learning BlogAI 评分4343 在 Amazon SageMaker HyperPod 上借助 SkyRL 加速多模态强化学习训练
基于 Amazon SageMaker HyperPod 运行开源强化学习框架 SkyRL，可通过 GRPO 算法将 Qwen3-VL-8B 视觉语言模型的迷宫求解率从 43.75% 提升至 95% 以上。
Google DeepMind精选AI 评分7777 Google 推出 Gemini 3.8 Live with Live Avatar 实时数字人功能
Google DeepMind 宣布在 Gemini Enterprise 中推出 Gemini 3.8 Live with Live Avatar，将原生实时对话与低延迟流式视频生成深度结合。
推荐理由：原文展示了流式视频生成与语音对话的结合机制，读者可参考其在后台执行异步工具调用同时维持前台交互不中断的设计。
Google DeepMind精选AI 评分7979 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型
Google DeepMind 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，支持通过自然语言提示词从零定制角色声音并逐行导演对话。
推荐理由：新模型通过自然语言提示词定制角色声音并逐行导演多角色对话，为长音频创作提供了更细粒度的控制方式。
橘鸦AI早报AI 评分3535 AI 早报：Qwen 开源 Qwen-Image-2.1，阶跃星辰发布 Step 5 Preview
Qwen 正式开源图形生成与编辑模型 Qwen-Image-2.1，视觉生成部分为 7B 参数，原生支持 RGBA 透明图生成与编辑。阶跃星辰发布总参数量 600B、支持百万 Token 上下文的基座模型 Step 5 Preview，已上线官方 API 且权重将于 10 月 15 日开放。此外，Google 开源 Agentic 编排器 AX，腾讯开源文档解析模型 WeVisDoc。
Google AI BlogAI 评分4242 Google：让 AI 适用于每一种语言与每个人
Google 宣布其产品已支持超 300 种语言，并公布多项语言 AI 进展。Gemini 3.5 Live Translate 实现了 70 种语言与 2,000+ 语言对的实时口语翻译，并带来高精度语音转录模型 Gemini 3.5 Transcribe。此外，Google 推出支持 55 种语言的轻量开源端侧翻译模型家族 TranslateGemma，无需联网即可运行。
Google DeepMind精选AI 评分8181 Google DeepMind 推出 Gemini 智能体视频理解功能
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 中推出智能体视频理解功能，支持模型通过工具动态搜索、缩放和检查目标视频片段。
推荐理由：官方给出了动态检索视频帧与音频的新机制，展示了长视频分析在大幅降低成本的同时提升定位精度的具体路径。
Microsoft ResearchAI 评分5252 微软开源病理基础模型 GigaPath-Flash 与 GigaTIME-Flash
微软研究院联合华盛顿大学与 Providence 发布开源病理基础模型 GigaPath-Flash 与 GigaTIME-Flash，权重和代码已在 Hugging Face 按 Apache 2.0 协议开源。
Google DeepMind精选AI 评分7575 Google DeepMind 推出 Gemini Omni 1.1 Flash 增强视频生成控制能力
Google DeepMind 正式推出 Gemini Omni 1.1 Flash，为开发者带来更强可控性的视频生成与编辑能力。新版本支持分析前 10 秒上下文进行最高 40 秒的场景延展，新增首尾关键帧平滑过渡、参考视频输入以及最高 4K 分辨率放大功能。
推荐理由：模型支持分析前十秒上下文并将单次视频延长至四十秒，有助于开发者构建更可控的影视级生成工作流。
Google AI BlogAI 评分2626 用 Google Search 升级家居装饰的 5 种方式
Google 介绍了利用 Google Search 及其 AI 工具升级家居装饰的 5 种功能。用户可通过 Search 的 AI Mode 上传房间照片生成家具摆放效果图，并用 Google Lens 与 Circle to Search 查找类似家居单品。此外，用户还能借助 Search Live 结合语音与实时摄像头画面获取 DIY 安装指导，并通过价格追踪功能比价。
Microsoft ResearchAI 评分4545 MindTopo 揭示视觉语言模型的空间推理能力
微软研究院推出全新评测基准 MindTopo，用于评估视觉语言模型在连通性、包围、顺序、分离和绳结五个维度的拓扑空间推理与规划能力。评测结果显示，受测闭源与开源模型在静态推理上的表现普遍显著优于交互规划，且两者均远低于人类水平。模型失误主要出现在行动规划阶段，难以在多步动作序列中持续追踪拓扑结构演变或遵守物理约束。
Google DeepMind精选AI 评分7373 Google DeepMind 推出手语转文本模型 SL2T 并首发登陆 Pixel 11
Google DeepMind 推出手语转文本模型 SL2T，并率先在 Pixel 11 的 Gboard 与 Live Transcribe 中支持美式手语到英语的实时听写输入。
推荐理由：原文展现了从端侧姿态骨骼点直接翻译手语文本的技术路径，为无障碍人机交互和隐私敏感场景的多模态部署提供了可参考范式。
Microsoft ResearchAI 评分5050 微软研究院推出 CARE-X：迈向临床实用的放射学视觉语言模型
微软研究院推出胸部 X 光视觉语言模型 CARE-X，将自由文本生成与结构化预测相结合以支持多类临床解读任务。该模型利用强化学习 DAPO 奖励临床正确性，提供生成与结合辅助头的双重推理模式，并在印度 Narayana Health 的真实临床数据上完成验证。
Google DeepMind精选AI 评分7777 Google DeepMind 发布具身推理模型 Gemini Robotics ER 2
Google DeepMind 推出具身推理模型 Gemini Robotics ER 2，作为高层中枢为机器人提供连续视频理解、任务编排与多机协作能力。该模型支持边执行动作边规划后续步骤，可调度底层 VLA 模型及外部工具，在任务进度分类和关键时刻识别上分别取得 57.4% 与 91.3% 的准确率。
推荐理由：该模型作为高层大脑支持边行动边规划与多机协同，读者可以了解具身智能在任务编排与进度感知上的系统设计。
Google DeepMind精选AI 评分6363 Google DeepMind 推出音乐生成模型 Lyria 3.5 并上线 Google Flow Music
Google DeepMind 正式推出最新音乐生成模型 Lyria 3.5，并于即日起上线 Google Flow Music。该版本提升了旋律结构的自然度与丰富度，增强了歌词生成的结构感知与提示词遵循能力，同时改善了人声情感表现与发音。创作者还可在生成过程中更便捷地调节音乐的节奏与时长。
推荐理由：该模型重点增强了旋律复杂度与人声情感表现，创作者可借此了解其在歌词对齐及节奏控制上的能力演进。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini Robotics 2，为机器人提供全身智能控制
Google DeepMind 推出新一代机器人模型系列 Gemini Robotics 2，让机器人具备全身运动控制、高精细操作与多机协作能力。
推荐理由：该系列模型将具身推理、动作控制与端侧适配分层解耦，为机器人长时序多步协作与跨硬件迁移提供了清晰架构。
Together AI Blog精选AI 评分6868 Together AI 首日上线多模态 MoE 模型 Inkling
Thinking Machines Lab 发布多模态 MoE 模型 Inkling，Together AI 同步在 Serverless 平台提供其推理服务。
推荐理由：新模型通过结合原生多模态输入与可调推理强度，让开发者能在统一接口下根据具体任务平衡延迟与算力开销。
Google DeepMind精选AI 评分7878 Google DeepMind 推出 Nano Banana 2 Lite 图像模型与 Gemini Omni Flash 视频模型
Google DeepMind 推出图像生成模型 Nano Banana 2 Lite 与视频生成编辑模型 Gemini Omni Flash，现已在 Google AI Studio 和 Gemini API 上线。
推荐理由：两款模型分别针对低延迟图像生成与对话式视频编辑，开发者可通过串联工作流实现快速出图并转为视频。
Google DeepMind精选AI 评分8181 Google 发布 Gemini 3.5 Live Translate 语音同传模型
Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持 70 多种语言的近实时语音转语音翻译。该模型打破了回合式等待限制，能够流式连续生成并保留说话人的语调与语速，音频内嵌 SynthID 水印。
推荐理由：原文给出了流式同传的具体延迟表现与多端落地渠道，读者可以据此评估实时语音翻译在实际业务中的接入可行性。
Google DeepMind精选AI 评分8383 Google DeepMind 推出 Gemma 4 12B 无编码器统一多模态模型
Google DeepMind 正式推出 Gemma 4 12B 多模态模型，采用无独立编码器的统一架构，原生支持视觉与音频输入直接接入 LLM 主干。该模型在标准基准上的性能接近 26B MoE 模型，内存占用减少超一半，可在具备 16GB 显存或统一内存的笔记本电脑上本地运行。模型采用 Apache 2.0 协议开源，支持通过 Hugging Face、Ollama 和 vLLM 等工具部署。
推荐理由：原文解析了移除视觉和音频编码器的统一架构设计，为端侧设备部署低延迟多模态大模型提供了具体参考。
Together AI Blog精选AI 评分6868 Together AI 详解 MiniMax-M3 推理优化：实现 1M 上下文与多模态高效部署
Together AI 作为首选云合作伙伴，详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention，使预填充阶段加速超 9 倍、解码加速超 15 倍；同时借助 Rust 模型网关在 CPU 端预处理音视频，在典型智能体场景下将推理性能提升了 81% 至 125%。
推荐理由：文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案，对长上下文大模型的生产级部署具有直接的工程参考价值。
Google DeepMind精选AI 评分7373 Google DeepMind 结合街景数据升级 Project Genie：支持生成真实世界交互环境
Google DeepMind 宣布在实验原型 Project Genie 中引入 Google 街景锚定能力，支持基于真实地理图像生成可交互的虚拟环境，并逐步向全球 Google AI Ultra 订阅用户开放。用户可以在美国地图上选点并搭配特定艺术风格与角色提示词生成对应世界，为智能体与机器人导航交互提供仿真支持。该街景生成能力目前支持美国境内地点，未来将逐步扩展至更多地区。
推荐理由：原文展示了世界模型结合真实地理街景生成交互环境的具体方式，为智能体与机器人仿真训练提供了现实落地的参考路径。
Google DeepMind精选AI 评分8787 Google DeepMind 发布多模态模型 Gemini Omni
Google DeepMind 推出新一代多模态生成模型 Gemini Omni，并发布该系列的首个模型 Gemini Omni Flash。该模型支持组合图像、音频、视频和文本作为输入来生成视频，并允许用户通过多轮自然语言对话连续编辑动作、角色和场景细节，同时生成内容均嵌入 SynthID 数字水印。
推荐理由：模型结合原生多模态与物理常识推理，支持通过自然语言对话多轮编辑视频，展示了基于世界知识生成连贯动态内容的新路径。
Google DeepMind精选AI 评分7070 Google 扩展内容透明度工具：SynthID 与 C2PA 凭证接入 Search、Gemini 及 Pixel
Google 宣布在 Search、Gemini、Chrome、Pixel 与 Cloud 中全面扩展内容透明度和验证工具，支持检测生成式 AI 标记与相机拍摄真实性。
推荐理由：Google 将水印与溯源凭证验证打通至搜索和终端设备，展示了多模态生成内容跨平台鉴伪的落地路径。