Google 汇总 2026 年 10 月最新 AI 进展
Google 全球上线前沿推理模型 Gemini 4 Argon，并公布了主打网络安全防御的 Gemini 4 Carbon 与实时交互世界模型 Genie 4。
#多模态
#多模态
今日 2 条Google AI BlogAI 评分4040 AWS Machine Learning BlogAI 评分4949 基于 Amazon Nova Multimodal Embeddings 与 Amazon Bedrock AgentCore 构建工程智能体
AWS 展示了基于 Amazon Bedrock AgentCore 与 Nova Multimodal Embeddings 构建的多智能体工程助手，以加速航天等领域的元器件替代评估。
Apple ML ResearchAI 评分5050 面向实时 iOS 应用 UI 导航的规划-定位智能体在线密集强化学习
研究人员提出一种在实时 iOS 应用上训练 UI 导航智能体的在线强化学习框架，将智能体解耦为规划智能体与 UI 定位模型。系统结合 LLM-as-a-Judge 密集奖励与 GiGPPO 算法，调度数百台并发虚拟 iOS 设备训练。
量子位AI 评分6464 商汤发布日日新 SenseNova 6.8 Flash 多模态智能体模型
商汤科技发布多模态智能体模型日日新 SenseNova 6.8 Flash，主打用户仅需设定目标即可全流程自主执行的委派智能，已在小浣熊客户端限时免费开放。该模型支持 3D 动态网页、动态海报、SVG 动画及动态 PPT 生成，并在实测中展现了结合长期记忆主动核对与修订旧文档数据的办公能力；官方评测显示其在 TeamBench 和 DataAnalysis2.0 基准中取得第一。
arXiv cs.LGAI 评分3333 面向模态缺失多模态联邦学习的角色感知服务端优化 RASO
针对模态缺失下的多模态联邦学习（MFL），研究人员提出角色感知服务端优化（RASO），协调贡献客户端选择与特定角色的服务端更新。该方法依据预测依赖性及本地优化参与情况筛选贡献客户端，保留编码器动量，并将共享预测模块同步至当前聚合。跨数据集和融合架构的实验验证了 RASO 在模态缺失场景下的有效性。
arXiv cs.LGAI 评分3131 MOSAIC：通过模态分区梯度路由解决任务-模态不均衡依赖
研究提出 MOSAIC 架构，通过保留单模态表征并引入模态间跨注意力受控交互，利用特定模态损失引导梯度路由，以解决多任务场景中任务对模态的不均衡依赖。在日常日语会话语料库 CEJC 的 4 个任务测试中，MOSAIC 相比传统融合基线将平均 macro-F1 提升了 7.4 点，同时骨干网络参数量减少了 72%。
The DecoderAI 评分6060 Adobe 联合团队提出 EditAgent，让 AI 智能体像专业修图师一样调度工具
Adobe Research 与加州大学圣地亚哥分校研究人员推出图像编辑智能体 EditAgent，通过并行调用专用工具并基于量化验证数据筛选最佳结果。在 600 项编辑测试中，标准大语言模型结合编辑区特写、变化图及色彩亮度统计后，挑选可用方案的准确率达到 81.3%，超过了专门微调的 EditScore-72B。该系统还能防止后续步骤破坏先前的编辑成果，并产出高质量数据反哺编辑器微调。
The DecoderAI 评分5757 Google 联合团队提出 StreamVibe 视频智能体：探索主动判断介入时机
Google 与斯坦福、牛津等机构联合推出 StreamVibe 视频智能体，旨在让 AI 在观察用户工作时自主判断何时该保持安静或主动提供指导。研究团队构建了涵盖 183 小时日常与软件录屏的 4,100 个基准样本，并基于 Qwen3.5-9B 与强化学习训练出 StreamVibe-VL 模型，搭配独立记忆系统跟踪任务状态以减少不必要打扰。
科学网AI 评分6060 专访谢伟迪：谈 DeepRare 罕见病辅助诊断与生命科学模型落地
上海交通大学副教授谢伟迪获颁 2026 世界顶尖科学家奖青年科学家奖，其团队开发的罕见病辅助诊断系统 DeepRare 2.0 已在新华医院部署运行，能在一个小时内综合分析症状、病历与基因数据并实现可溯源推理。谢伟迪在专访中表示，AI 是协助医生的循证工具，团队正通过构建虚拟细胞模型体系探索大规模药物筛选与生命科学通用 AI。
arXiv cs.AIAI 评分3434 A-RSI：面向零数据多模态自我改进的自适应任务刷新
A-RSI 提出了一种面向零数据多模态自我改进的自适应任务刷新方法，通过监控训练日志中的奖励变化与准确率，在学习信号下降时更新任务池。该方法利用静态程序库生成多模态问题并导出可独立核验的答案，全流程无需外部训练数据或人工标注。在包含 11 个基准的主测试集上，A-RSI 仅凭 800 个新任务将平均成绩从 57.77 提升至 61.05。
arXiv cs.AIAI 评分3030 BridgeRouter：基于跨模态桥接组合的增益感知实例路由
BridgeRouter 提出增益感知实例路由机制，无需重训主干即可将预训练 EEG 基础模型按样本分流至最优跨模态桥接路径。推理时仅观测目标模态且只执行单条路径，增益达标时选用最优路由，否则回退至默认求解器（SBS）。在 FOG 和 ISRUC 评测中，其平衡准确率达 81.38% 与 62.92%，较单一基线分别提高 11.49 和 3.83 个百分点。
arXiv cs.AIAI 评分2626 何为食物相似性？印度菜的视觉表征与检索
一项研究基于扩展的 Khana 数据集与 7 种预训练视觉表征，评估了印度菜在卷积、Transformer、自监督及图文对齐模型中的图像检索与邻域结构。分析表明图像级邻域在不同表征间差异显著且常跨越菜品家族，聚合后的菜品级视觉结构与基于食谱计算的相似度关联较弱。结果证明食物相似度高度依赖表征形式与模态，仅靠识别性能无法充分刻画食物间的关联结构。
科学网AI 评分3838 北航脑机接口研究院正式揭牌
10月30日，北航正式揭牌成立脑机接口研究院，由张广军院士出任院长。该研究院依托航空航天、信息和医学等学科整合10余个学院科研力量，设立感知、调控、编解码、医学等4个研究中心。其将重点围绕医疗康复和教育等需求，聚焦半侵入式与非侵入式技术路线，结合多模态大模型强化神经信号解码并推动与具身智能融合。
arXiv cs.LGAI 评分4343 Jailbreak Connectivity：实现多样化、可迁移与通用的多模态大语言模型越狱框架
研究人员提出越狱框架 Jailbreak Connectivity（JC），通过在图像空间优化连续对抗路径，实现面向多模态大语言模型（MLLM）的多样化、可迁移与通用越狱攻击。
量子位AI 评分6464 智元发布具身基座模型GO-3 Preview与交互大模型WITA-OMNI
智元在创新日发布具身基座模型GO-3 Preview与全模态端到端交互大模型WITA-OMNI，并提出衡量物理AI有效工时的单位Worken。GO-3 Preview采用具身原生架构WRAM以提升精细作业与跨本体迁移能力，WITA-OMNI则采用快慢双系统实现免唤醒词的自然交互。此外，智元还推出了第三代硬件架构AHA3、重载机器人精灵G2 Max以及计划开源的具身原生操作系统灵渠OS 1.0。
量子位AI 评分6868 SoMark 开源 1.3B 文档解析模型 OXR：采用 RSI 训练并在三项基准登顶
SoMark 团队开源了 1.3B 参数的文档解析模型 OXR，在 OmniDocBench、olmOCR-Bench 和 DocParsingBench 三项基准测试中均位列第一，单张 RTX PRO 6000 解析 100 页文档耗时 101 秒。
量子位AI 评分7070 Genspark 发布视频智能体工作台 Media Studio
Genspark 正式上线视频智能体工作台 Media Studio，接入 20 多家厂商的 70 多个模型版本，由大语言模型充当导演统一调度剧本、图像、视频与音频生成。平台提供故事圣经管理角色与场景设定，支持 3D 白模预演、代码渲染知识讲解片、局部重拍与单帧编辑，并可导出工程文件供专业软件精修。
AWS Machine Learning BlogAI 评分3939 在 Amazon EKS 与 SageMaker HyperPod EKS 上利用 NVIDIA Nemotron 模型加速智能体 AI
NVIDIA Nemotron 3.5 Super VL 已支持在 Amazon EKS、EKS Auto Mode 及 SageMaker HyperPod EKS 上部署，用于加速智能体 AI 工作流。
Latent SpaceAI 评分5151 前沿模型能否看破视觉诱饵？Elorian 推出 DecoyCount 测试视觉推理能力
Elorian 联合 Mercor 推出 DecoyCount 评测基准，专门测试大模型是在真实计数物体还是依赖视觉捷径。评测显示前沿模型在该基准上的准确率均低于 50%（最高为 GPT-6 Astra 的 43.17%），而 Elorian 新推出的视觉推理模型 Glimpse 内部单次测试准确率达 50.48%。
arXiv cs.LGAI 评分3636 基于查询-视觉交互分解的视觉 Token 剪枝
研究人员提出免训练的查询感知视觉 token 剪枝方法 QViD，利用 Transformer 注意力中查询-视觉交互矩阵的低秩特性捕捉相关语义。图像与视频理解评测基准实验显示，QViD 在匹配的 token 预算下持续提升性能，且在激进压缩场景下收益最为显著。
arXiv cs.AIAI 评分4949 GUI-JEPA：基于候选条件 JEPA 隐空间的移动 GUI Agent 快速动作策略
研究人员提出首个基于联合嵌入预测架构（JEPA）的无解码器移动 GUI Agent 动作策略 GUI-JEPA。它利用在未标注 GUI 截图上预训练的隐空间，通过轻量级评分头在单次批处理中为候选动作打分，避免了传统 VLM 逐 token 解码的高耗时与显存占用。
arXiv cs.AIAI 评分3636 面向多模态心智理论的视角界定证据校准 PIP-ToM
研究提出证据容许性接口 PIP-ToM，通过构建智能体专属证据库并校准假设评分，解决多模态心智理论（Multimodal ToM）中的视角泄露与来源混淆问题。该方法确保仅将智能体可访问、保留信息源且具备诊断性的证据纳入心理状态假设评估，同时保留底层贝叶斯推理过程。
arXiv cs.AIAI 评分3434 AC-JEPA：面向视觉到符号翻译的锚定跨模态联合嵌入预测架构
AC-JEPA 是一种兼容 SFT 的插件架构，通过双向预测跨模态掩蔽中间状态提升视觉到符号翻译对不完美数据的容错能力。在 WildMol 基准 Simple 测试集中，AC-JEPA 基于干净数据取得 76.07% 准确率，优于单独 SFT 的 67.40%。使用伪标签自训练时，AC-JEPA 准确率进一步升至 80.23%，而直接 SFT 则从 67.40% 下降至 63.47%。
arXiv cs.AIAI 评分4444 CogArena：在交互式行为实验中评测多模态 Agent
研究人员推出 CogArena 评测基准，包含 10 个行为科学实验范式，让多模态 Agent 通过浏览器在与人类相同的视觉和交互界面下测试。该基准采用三级评分评估任务完成度、准确率及人类特征复现度；对 4 个多模态模型的测试显示，完成实验并不等同于能复现人类行为特征。CogArena 现已公开实验任务、评分代码与公共排行榜。
arXiv cs.AIAI 评分5656 红心代表递归：探索视觉语言模型中的视觉意义与沟通
最新研究探讨了视觉语言模型（VLM）的视觉沟通能力，发现红心等简单视觉符号能够强烈引导模型在编程等无关任务中产生递归解。这种引导效应大部分是隐式的，模型的直接解释或思考链与其观察到的实际行为存在显著分歧。研究还表明模型间存在生成与解释的鸿沟，虽然模型能创造性地利用视觉传递意义，但其表达方式往往与人类习惯不同。
arXiv cs.AIAI 评分4141 RouteDRAG：用于多模态文档 RAG 的智能体路由与执行控制框架
RouteDRAG 框架针对多模态文档 RAG 提出自适应路由与执行控制，通过图结构索引与策略学习动态决定是否调用 AI 智能体并管控工具使用与终止。在两个基准测试中，该方法仅将 79.3% 的查询分配给智能体，准确率相比短路径执行平均提升 3.47 个百分点，并以更少调用超越了全量智能体执行。该项目代码已开源。
arXiv cs.AIAI 评分3939 StruPO：从结构反馈到提示词策略，学习高保真文生图提示词编辑器
研究人员提出结构感知提示词编辑器 StruPO，通过校准场景图将外部结构反馈转化为可复用的文生图编辑策略。在 3 个 2K 提示词测试集与 4 个冻结骨干网络的实验中，该方法改善了保真度与美学权衡，并持续提升关系保真度。15 名标注员研究与自动评测表明，关系越复杂人类偏好优势越明显，且校准后可单次生成优化提示词，无需迭代重写。
arXiv cs.AIAI 评分4444 The Trinity：面向多模态智能体的能力驱动递归自我提升框架
研究提出面向多模态智能体的递归自我提升框架 The Trinity，通过 Creator、Explorer 和 Evolver 三个角色将世界生成与 Harness 演化耦合。
科学网AI 评分3030 第七届电子通信与人工智能国际学术会议在长沙召开
第七届电子通信与人工智能国际学术会议（ICECAI 2026）于 10 月 23 日至 25 日在长沙举行，聚焦电子通信与人工智能两大核心领域的最新进展。多所高校专家围绕多模态工业检测、基于在网聚合的长上下文大语言模型推理加速以及 Token 通信原理等前沿技术作了专题报告。
科学网AI 评分2525 第二十一届（2026）遥感遥测遥控学术年会在西安举办
第二十一届（2026）遥感遥测遥控学术年会在西安举办，参会规模创历届新高并吸引千余名代表参会。大会以“感测低空全域·遥控万物智联”为主题设立4个专题分会场，聚焦低空智能遥感、低空融合感知及低空经济网络等方向。多位院士专家围绕低空感知、智能无人系统及低空具身智能世界模型等前沿课题分享进展，探讨低空智能化发展路径。
量子位AI 评分5959 国产 3D 大模型 Hi3D V1.0 开源模型代码与权重
国产 3D 大模型团队 Hi3D 正式在 GitHub 和 Hugging Face 开源 Hi3D V1.0 模型代码与权重。该模型基于 Sparc3D 架构与约 200 万个 3D 资产训练，支持逐级几何细化并具备 90% 的切片成功率，同时支持通过 MCP 接口接入外部工具链协同创作。
量子位AI 评分7272 百度开源文心 Unlimited OCR 2：KV Cache 占用减少 96%，支持千页超长文档连续解析
百度正式开源文心 Unlimited OCR 2，通过稀疏参考滑动窗口注意力机制与无限解码机制，实现千页级超长文档的连续解析。在百页级单序列测试中，该方案将峰值 KV Cache 占用从 47GB 降至 1.77GB，降幅达 96%，16 路并发下端到端吞吐量达 1315 Token/秒。目前相关代码和模型已在 GitHub 与 Hugging Face 正式开源。
量子位AI 评分5252 皮克斯致谢禾赛科技 3D 数据终端 Kosmo，多传感器前融合方案切入物理 AI
皮克斯在最新 3D 渲染教程中致谢禾赛科技的 3D 场景扫描方案 Kosmo，该方案正作为专用数据采集终端应用于影视制作与具身智能领域。Kosmo 结合手持采集硬件与云端重建系统，在硬件层面对激光雷达、超高清影像和 IMU 完成微秒级时空同步前融合，可直接输出包含绝对尺度约束的 3D 高斯泼溅、mesh 与深度数据。
arXiv cs.AIAI 评分4444 InfiniteWorld：将视觉证据与已知物理规律分离
研究人员推出物理推理基准 InfiniteWorld，通过将问题与系统性修改物理参数的模拟视频配对，测试视频语言模型能否依据视觉证据进行推理。该基准涵盖定律识别、参数估计和定律归纳等 5 项任务，并提供纯文本与视频帧等 5 种配对输入设置。评测显示现有模型普遍依赖地球常规规律，在观测物理动态改变时仍频繁给出常规答案。
arXiv cs.AIAI 评分4949 掌握全部事实仍答错：视觉语言模型中的整合鸿沟
研究发现视觉语言模型普遍存在“整合鸿沟”，即模型即便能准确识别各个局部事实，在多证据联合决策时仍会出现严重失效。例如 Gemma-3-27B 能正确恢复所有孤立单项事实，但在 8 项视觉实例上的全局有效率仅有 19.75%。探测与激活替换实验表明，仅在隐藏状态表征解相关信息不足以实现可靠推理，模型改进需专门针对证据整合能力。
arXiv cs.AIAI 评分4444 Iris：支持可复用选项记忆的视觉候选类型化决策框架
研究团队推出多模态决策框架 Iris，支持图像与文本候选输入，在保证严格顺序不变性的同时实现精确缓存复用。跨请求复用图像候选使延迟在 K=256 与 K=2048 时分别降低 37x 和 191x，并在新基准上达到最高 91.7% 准确率且零翻转率。此外，Iris-4B 在 JevBench 评测中达到 100% 准确率超越 30B 模型，代码与权重已开源。
arXiv cs.AIAI 评分3434 Meta-CLIP：用于零样本疾病推理的元数据条件对比学习
研究人员提出 Meta-CLIP 框架，利用 DICOM 标头采集相似度重新加权跨模态负样本，以提升医学视觉语言预训练与零样本疾病推理表现。该方法在推理时沿用标准双编码器架构且无需输入元数据。在 CT-RATE 基准上，Meta-CLIP 较 CT-CLIP 将 macro-AUROC 提升 1.41 点，并在 5 个 CXR 基准中的 4 个取得最高 macro-AUROC，代码将公开。
arXiv cs.AIAI 评分3535 面向事件驱动 VLA 推理的 PoT-LIF 神经元
研究者提出 PoT-LIF 神经元，通过发射幅值为 2 的幂次的离散脉冲，为视觉-语言-动作（VLA）模型实现低功耗事件驱动推理。将其集成至 $\pi_{0.5}$ 模型并在 LIBERO 闭环评测中测试，Heartbeat 模式成功率达 97.25%，优于连续激活基线的 96.70%。
arXiv cs.AIAI 评分3939 TAD：仅凭教师轨迹蒸馏视觉-语言-动作（VLA）策略
新提出的对抗蒸馏方法 TAD 无需在线教师打分或环境奖励，仅依靠固定教师轨迹即可对 VLA 策略进行在线蒸馏。在 ManiSkill 评测中，TAD 将 7B 规模的 OpenVLA-OFT 成功率从 26.2% 提升至 76.6%，最终成功率从 20.3% 提至 58.6%。其表现仅落后白盒在线蒸馏（OPD）0.8 至 5.0 个百分点，但需消耗 OPD 5 倍的学生交互预算。
arXiv cs.AIAI 评分3636 SMART-Med：基于不确定性感知路由的选择性多智能体医学推理
研究人员提出本地多智能体医学推理方法 SMART-Med，通过不确定性驱动的路由机制自适应决定直接回答还是引入专家智能体协作。该方法结合新构建的数据集 MedVR-3K 并采用 GRPO 算法微调，在 Slake、PathVQA、VQA-RAD 和 PMC-VQA 四项基准上取得 6.7% 的平均提升。同时，SMART-Med 将推理时间缩短超过 3.8x，token 消耗降低 72%。