基于多模态智能体实现非平稳响应科学仪器的自适应控制
研究团队提出一种基于多模态智能体的科学仪器自适应控制框架，结合确定性特征提取、双层记忆 MLLM 与独立动作校验应对非平稳响应。在 EXL-50U 的 455 炮回放中，检索上下文将动作方向一致性提升 22.4-42.7 个百分点，物理符号分类优于纯波形图像。在 5 个离子源的受监督运行中，系统在 409 炮测试中达到 86.80% 的引束率。
#多模态
#多模态
今日 2 条arXiv cs.AIAI 评分3636 arXiv cs.AIAI 评分3333 多模态强化学习：从视觉亲和力到学习信用分配
研究提出插件式框架 Outcome-Conditioned Visual Credit（OVC），将多模态强化学习中的视觉关联度度量与 token 级信用分配解耦。该方法无需辅助奖励模型、过程标注或推理期模块，直接复用现有采样数据调制 token 梯度贡献。在 3 个模型上，其实例化方案使 6 项基准测试平均准确率相较 GSPO 持续提升 1.86-2.39 个百分点。
arXiv cs.AIAI 评分4343 MedCaseAgent：从多模态临床证据生成罕见病病例报告
MedCaseAgent 是一种端到端 AI 智能体推理框架，能通过动态检索医学文献与知识库，从非结构化临床记录中生成发表级的罕见病病例报告。研究团队同步开源了多模态病例语料库 MedCase-150K、评测基准 MedCase-Bench，以及基于 Qwen3.5-9B 后训练优化的开源模型。基准评测与双盲专家评审显示，其表现均超越现有的通用和专用医疗 LLM 及智能体。
arXiv cs.AIAI 评分3737 RxnExBench：面向科学文献结构化化学反应提取的视觉语言模型评测基准
研究人员提出多模态基准 RxnExBench，包含 3,565 个专家标注反应和 2,361 个分子结构，用于评测视觉语言模型的结构化化学反应提取能力。该基准统一了 15 个反应角色与 26 个核心字段，并提出解耦分子识别与高阶推理的 Oracle-MolRec 协议。对 9 个 SOTA 模型的评测显示多模态整合与化学推理是主要瓶颈，相关数据和代码均已开源。
arXiv cs.AIAI 评分3434 PEAR：面向大视觉语言模型感知与探索的自适应优势重塑方法
研究人员提出面向大视觉语言模型的优势重塑方法 PEAR，旨在兼顾多模态推理中的视觉感知与多样化路径探索。PEAR 以视觉依赖为基础信号，仅对高熵位置补充探索增益，且视觉依赖越低增益越大，以此生成正 token 级权重重塑序列优势。在 Qwen2.5-VL-3B/7B 上的实验显示，PEAR 在多模态推理基准上取得最高平均表现，并在文本推理与通用多模态评测中领先。
arXiv cs.AIAI 评分4646 $\Psi$-0.6：统一视觉语言世界模型中的自适应思维流
统一视觉语言世界模型 $\Psi$-0.6 正式提出，其通过共享 token 接口交织图像、文本及几何运动显式表示，实现自适应的“思维流”物理推理。该模型在多视角空间推理零样本评测中超越主流开源权重模型，并支持判断移动物体是否阻碍路径等反事实模拟。借助任务反馈强化学习优化中间表示，其视觉问答准确率显著提升并能泛化至未见基准。
arXiv cs.AIAI 评分4040 DriveMind：面向闭环自动驾驶的心智演化信念追踪框架
DriveMind 是一种面向闭环自动驾驶的多模态大语言模型（MLLM）框架，受粒子滤波启发，可同时保留多个场景假设并随新帧动态更新权重。在 Bench2Drive 评测中，该方法将驾驶得分（DS）从 68.50 提升至 81.37，成功率（SR）从 41.36% 提升至 54.09%。其在无信号灯路口（+20.0 DS）等模糊场景提升最为显著，并改善了并道与让行等交互驾驶能力。
arXiv cs.AIAI 评分3535 CEMIR 对比 FISER：语用意图识别中基于推理与富化方法的比较研究
HandMeThat v2 基准评测显示，多模态富化方法 CEMIR 相比结构化推理框架 FISER 在语用意图识别中并未表现出显著性能优势。在涵盖 Qwen2.5-Omni-3B 至 GPT-5 的 4 款大语言模型测试中，两者在全部 16 组难度对比及消融实验中均无统计学显著差异。研究表明任务表现主要取决于基座模型能力，合成多模态增强在文本已包含任务约束时未能带来可衡量的收益。
arXiv cs.AIAI 评分3232 MERP：用于鲁棒多模态多标签情绪识别的潜在瓶颈框架
研究人员提出多模态情绪识别框架 MERP，通过将多模态序列映射至固定大小的潜在库，解决部署时模态缺失导致的性能下降问题。在测试期 20% 随机模态缺失下，MERP 在 CMU-MOSEI 和 M3ED 上的 micro-F1 分数分别达 0.563 和 0.780，在仅音频极端设置下保持 0.473 micro-F1，相关代码已开源。
arXiv cs.AIAI 评分3737 SpatialBrain：从经验中成长的空间智能
SpatialBrain 是一个在保持视觉语言底座固定的前提下、通过积累决策经验来提升空间推理能力的框架。它包含融合场景观测信息的 3DFusionMemory、提供可复用工具程序的 Spatial Skill Library，以及将任务条件与决策经验关联的 Spatial Cognition。
arXiv cs.AIAI 评分3434 StochIKM：从 Kaplan-Meier 曲线自动化高保真重建个体患者数据
研究团队提出随机算法 StochIKM，利用具备视觉能力的语言模型结合严格约束，可从已发表的 Kaplan-Meier 曲线中自动化重建一组高保真的个体患者数据集。该算法以精确复现风险表、图像分辨率范围内的曲线、中位数与事件数为硬性约束条件。在模拟实验及 79 个肿瘤试验组测试中，StochIKM 复现风险表和中位数的表现均优于 LLM 改进版 IPDfromKM。
arXiv cs.AIAI 评分3434 Sketch2Sim：面向手绘电路分析的端到端模块化框架
Sketch2Sim 是一个端到端模块化框架，可直接将手绘电路图照片转换为 SPICE 兼容网表，并自动求解节点电压与电流。系统依托 1,000 个手绘 RLC 电路数据集，采用双 YOLO、CRNN 与 DBSCAN 算法完成元件检测、数值识别和节点拓扑映射。该方案还提供了综合 UI，在多种手写风格与光照下表现稳健，适用于教学与工程设计评审。
Google Research精选AI 评分6464 Google 分享将基础模型应用于全球结核病一线筛查的落地实践
Google 展示了将其医疗 AI 基础模型应用于全球结核病（TB）前线筛查的完整落地路径。通过与 Nexus AI 合作，其胸部 X 光筛查算法已获得欧盟 CE MDR Class IIb 认证并在 6 个国家落地，使胸片筛查周转时间缩短至 45 秒内，并在南非深井金矿实现了便携式离线筛查。
推荐理由：原文展示了医疗 AI 从算法论文到跨国临床认证及开源部署的完整路径，为公共卫生场景的落地提供了实践参考。
arXiv cs.LGAI 评分3434 持续同调通过多模态图神经网络实现跨物种离子通道分类
研究人员提出融合 ESM-2 序列嵌入与二硫键感知图注意力网络的多模态模型 PH-GNN，利用持续同调表征实现跨物种的毒素离子通道分类。在包含 5 个分类群、1,373 种 ColabFold 预测毒素分子的留一物种评估中，序列基线准确率跌至约 30%，其他几何先验模型聚集在 54-55%，而 PH-GNN 达到 63.4%，领先次优方法 8 个百分点以上。
arXiv cs.LGAI 评分3333 多模态推理的最小编辑策略内知识蒸馏方法
研究人员提出用于多模态推理的最小编辑策略内知识蒸馏方法，利用教师模型评估错误推理并仅对教师不认可的 token 进行针对性修正，正确推理则接受任务奖励强化学习。该方法在测试阶段无需图像描述即可达到或超越基准模型输入参考描述的性能，显著增强了几何感知能力，且使用同尺寸冻结模型作为教师同样有效。
arXiv stat.MLAI 评分3333 当重构不再足够：基于多模态学习表征的双重稳健反事实与干预中介分析
仅依赖重构等协变量目标训练的多模态表征无法保证因果识别，且双重稳健与交叉拟合均无法消除其引发的一阶表征偏差。为此，研究提出结合模态特定变分自编码器、交叉拟合双重稳健估计器及表征诊断的因果分析工作流。模拟实验表明，遗漏罕见混杂因素会导致 n = 3,000 时区间覆盖率降至 2%，而简单预测诊断可在所有重复实验中成功捕获该问题。
arXiv cs.LGAI 评分4444 KVLearn：分离式 LLM 推理系统中基于学习的 KV cache 保留框架
研究人员提出基于学习的成本感知 KV cache 保留框架 KVLearn，用于优化分离式 LLM 推理系统中的缓存准入与保留决策。该框架通过前缀复用预测器、成本感知保留评分和自适应阈值控制器协同工作，无需修改模型权重。评测显示，KVLearn 相比 LRU-Pool 将端到端首字延迟（TTFT）降低最高 38%，并减少最高 53% 的节点间传输量，代码已开源。
arXiv stat.MLAI 评分3636 视觉-语言-动作（VLA）策略的事后认知不确定性估计
研究人员提出一种面向视觉-语言-动作（VLA）策略的事后核方差头方法，无需梯度更新即可直接从单模型嵌入中估计认知不确定性。在 LIBERO-10 基准上对 SmolVLA 的测试显示，该方法在主动学习演示获取与求助代理上表现媲美双模型集成，同时将不确定性评分时间最多缩短约 50 倍并大幅削减设置成本。
NVIDIA Blog精选AI 评分6868 NVIDIA 扩展 Cosmos 平台并开放世界模型训练、评测与部署工具
NVIDIA 扩展 Cosmos 平台，推出包含 5 个云原生蓝图的 Cosmos Data Factory、全新训练框架及 Cosmos 3 Nano 仿真模型变体，帮助开发者加速物理 AI 与世界模型的开发与落地。
推荐理由：这套工具通过合成数据生成与闭环仿真评测，为实体AI开发者打通了从物理场景采集到模型微调部署的完整流程。
arXiv quant-phAI 评分3333 量子层能否为视觉语言模型带来性能与安全优势？
基于 LLaVA-OneVision 的研究显示，在 visual projector 后插入量子层可在 Visual Spatial Reasoning 数据集达到 80.7% 准确率，较经典全微调提升 2.28 个百分点。替换最终 decoder 前馈子层可减少 13.07 million 可训练参数并保持 79.22% 准确率。研究还测试了混合模型在 6 种攻击设置下的鲁棒性，代码已开源。
arXiv cs.AIAI 评分3737 KPHarness：面向长周期游戏线索框架的知识与探测协同演化框架
研究人员提出了 KPHarness，通过知识与探测协同演化来适配冻结视觉-语言-动作模型的外部执行框架。该框架将快速策略执行与慢速研究循环解耦，基于沙盒对比评估生成框架修订，并将验证后的恢复策略跨任务复用。在涵盖挖矿、战斗和合成的 Minecraft 任务及未见任务测试中，其任务覆盖率与完成度均优于固定框架及仅靠知识演化的基线。
arXiv cs.AIAI 评分4343 ProMemAgent：利用感官感知的上下文感知前瞻记忆实现长周期主动式辅助
研究者提出 ProMemAgent，这是首个在日常感官上下文中引入前瞻记忆以实现长周期主动式辅助的 AI 智能体。该系统将第一人称视角的音视频等感知信息组织为上下文感知记忆并生成前瞻线索，结合当前环境检索并推理以判断是否需要提供主动辅助。
arXiv cs.AIAI 评分3535 EDMA：基于熵驱动的多模态问答方法
研究者提出基于逻辑熵驱动的多模态问答方法 EDMA，将问答形式化为迭代降熵过程以量化各模态的贡献。该方法包含单模态降熵估计、多模态融合及最大降熵轨迹选择三大机制。在标准 MMQA 基准上，EDMA 相比 Planning Prompting 平均提升 12.8 F1 和 4.6 LLM-J 点，相比 CoT 提升 18.6 F1 和 8.3 LLM-J 点。
arXiv cs.AIAI 评分4040 Omni-Woodpecker：通过证据-先验重平衡修正 Omni LLM 模型幻觉
研究人员提出免训练框架 Omni-Woodpecker（OWP），通过跨模态冲突检测与隐藏状态正交分解，在解码前抑制误导性先验并恢复有效证据，从而修正 Omni LLM 的跨模态模型幻觉。
arXiv cs.AIAI 评分3535 LightCRS：轻量级多领域对话式推荐系统
研究人员提出轻量级统一多领域多模态对话推荐框架 LightCRS，通过离线预计算商品表征，线上仅用 5.3M 参数的模块融合特征并共享跨领域参数。在涵盖 25 个领域的 MM-R2A-25 基准评测中，LightCRS 的 HR@1 相比最强基线提升 35.4%，同时单次查询延迟降低 266 倍。联合多领域训练也使 HR@1 比单领域独立训练模型提升 15.2%。
arXiv cs.AIAI 评分3838 MAMath-Bench：多模态多智能体数学推理的过程感知与鲁棒性评测基准
研究者推出多模态多智能体数学推理评测基准 MAMath-Bench，包含涵盖 11 个数学类别以及文本、图像、音频等模态的 1,003 道题目。该基准通过细粒度里程碑标注，从解题正确性、推理过程可靠性及对抗扰动鲁棒性三个维度展开评估。评测发现多智能体协作相比强单模型并未持续提高最终答案准确率，且当前系统面对对抗性推理错误仍较脆弱；数据集已开放获取。
NVIDIA Blog精选AI 评分8181 NVIDIA 扩展开源模型矩阵，发布 Nemotron 3.5、Kumo 等多领域模型
NVIDIA 扩展了覆盖语言、结构化数据、机器人、生物学和量子计算的开源模型家族，推出 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Kumo 及 Cosmos 3.5 等多领域基础模型。
推荐理由：文章系统梳理了覆盖语言、物理模拟与生物计算等领域的开源模型矩阵，读者可借此了解不同垂直业务场景下的模型选型与落地路径。
AWS Machine Learning BlogAI 评分3737 Amazon SageMaker JumpStart 2026 年初至今进展回顾
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月期间接入了来自 30 家模型提供商的 100 多款新模型。新增模型涵盖阿里巴巴千问（Qwen）的 29 款、NVIDIA 的 17 款（含 Cosmos3 与 Nemotron 系列），以及 Mistral、Google、IBM 和 Cohere 等机构的产品。
AWS Machine Learning BlogAI 评分5454 TwelveLabs 视频大模型 Pegasus 1.5 正式上线 Amazon Bedrock
TwelveLabs 视频语言模型 Pegasus 1.5 正式在 Amazon Bedrock 上线可用。该模型支持单次处理长达 2 小时的长视频，无需预先建立索引即可直接读取 Amazon S3 中的视频源；模型新增时序元数据生成与参考图像多模态提示功能，可根据自定义字段以 JSON 格式输出匹配片段的起止时间及结构化信息。
arXiv cs.AIAI 评分3434 CIIR：基于类别索引接口表征学习的跨数据集通信框架
研究人员提出模块化编解码器框架 CIIR，通过类别索引地址空间连接异构数据集，无需配对或同步的多模态样本。系统使用 128 维地址表征，新训练的无标签接收器实现了 94.7% 的宏平均地址实现准确率。冻结基础地址空间后仅训练轻量适配器接入未见过的 SVHN 数据集，在无目标端标签下达到 90.2% 的 MNIST>SVHN 和 82.3% 的 SVHN>MNIST 端到端地址迁移准确率。
arXiv cs.AIAI 评分4343 利用用户手册让计算机使用智能体适应新软件
研究人员提出 MAGE 框架，利用用户手册作为程序性知识来源，提升计算机使用智能体在执行和训练两个阶段的能力。在执行时，该框架检索手册内容并生成步骤指导，同时通过环境交互调整策略；在训练时，它将手册转化为可执行的任务计划对并生成交互轨迹以优化策略，无需人工编写的演示数据。在 6 个软件上的实验表明该方法有效提高了任务成功率，相关代码已开源。
arXiv cs.AIAI 评分3232 ShadowFPT：利用影子触发器对联邦提示词微调进行后门攻击
研究人员提出针对联邦提示词微调（FPT）的目标后门攻击方法 ShadowFPT，利用冻结的预训练骨干网络在表征空间植入后门。恶意客户端针对冻结的 CLIP 视觉编码器预训练可学习的影子触发器（Shadow Trigger），并仅向服务器上传与良性更新接近的提示词参数。实验显示，ShadowFPT 在主要设定下将攻击成功率从 19.81% 提升至 90.36%，同时保持了干净样本的准确率。
arXiv cs.AIAI 评分3434 面向动画电影社交与情绪理解的大脑对齐多模态 LLM 研究
研究对比了基于扩散模型与自回归的多模态 LLM 与人类在三部动画短片中的心智理论（ToM）及情绪效价连续评分，并用于预测区域 fMRI 脑响应。结果显示模型能捕捉人类评分的时间变化，在效价上的对齐度普遍高于 ToM，且两者脑激活空间重叠主要分布在视觉、背侧注意及后默认模式网络区域。这证实了多模态 LLM 可作为生成具备大脑预测性社交情绪标注的可扩展工具。
arXiv cs.AIAI 评分3737 FlexUMM：面向统一多模态模型的灵活表征学习框架
研究人员提出统一多模态模型框架 FlexUMM，通过动态决定何时保留共享计算、何时路由专用容量以及何时停止处理，解决理解与生成任务间的表征冲突。该灵活分配机制在减少功能间有害竞争以提升精度的同时，还能跳过不必要计算来提升效率。FlexUMM 可作为与模型无关的功能性插件，相关代码已开源。
arXiv cs.AIAI 评分3636 TAG-Nav：面向移动端 GUI 导航的任务无关图探索框架
研究者提出任务无关图导航框架 TAG-Nav，通过离线探索提取应用功能、目标页面与路径点并构建目的地记忆，在无需任务特定演示的情况下为 GUI 智能体提供路由引导。评测基准 DestBench 显示，基于图的记忆将 UI-TARS-1.5-7B 的严格导航成功率从 52.4% 提升至 58.3%，并将 Qwen-VL-Max 的成功率从 59.5% 提高到 71.4%。
arXiv cs.AIAI 评分4040 ECHOES：结合递归历史压缩与特权策略内蒸馏的长程 GUI 智能体框架
研究团队提出长程 GUI 智能体框架 ECHOES，采用 CTA（压缩-思考-行动）格式递归更新文本历史状态，并通过特权多图教师模型进行 token 级策略内蒸馏。配套的 PMF Gap 引导强化学习动态平衡蒸馏与任务奖励，同时构建了诊断基准 ECHOESBMK。部署时不保留历史截图即可在 4 个 GUI 基准上实现高表现与低推理成本，且支持零样本规划迁移。
arXiv cs.AIAI 评分3535 DocPilot：面向长视觉文档理解的交互式智能体编排与训练框架
研究人员提出长视觉文档理解智能体框架 DocPilot，通过页面级导航、细粒度证据定位、局部视觉检查与代码数值推理实现多模态理解。该框架采用课程智能体训练，可将复杂文档处理能力迁移至小型模型。评测显示其在前沿 VLM 上表现提升显著，4B 参数的 DocPilot-4B 性能可抗衡更大规模模型，相关代码已开源。
arXiv cs.AIAI 评分4242 MSP：无需配对跨模态数据训练多模态大语言模型的模态自我博弈框架
研究人员提出多模态大语言模型训练框架 MSP，通过模态自我博弈摆脱对真实跨模态配对数据的依赖。该方法利用未见模态的代理文本描述作为语义桥梁，使模型仅凭真实锚点模态与代理描述即可实现零样本多模态组合与推理。实验显示，MSP 在多个多模态评测基准上达到 SOTA 或极具竞争力的性能表现。
arXiv cs.AIAI 评分4343 用于文本生成视频的时序规范引导框架 TSG
研究者提出免训练的推理阶段框架 TSG（Temporal Specification Guidance），通过形式化时序逻辑表达视频中的顺序、定时与持续性要求，引导文本生成视频的采样过程。
arXiv cs.AIAI 评分3939 EvolvingBrain：用于多模态 Agent 在开放世界中自我进化的自适应技能系统
研究人员提出多模态 Agent 自我进化系统 EvolvingBrain，通过自适应技能系统作为核心大脑以提升开放世界交互能力。该系统包含从轨迹中提炼经验并构建包含 Domain、Plan 和 Action/Trap Skills 的分层技能自进化模块，以及利用结构化摘要记忆指导技能融合的状态感知自适应执行机制。