三通道分数冲突下的受控信息获取与弃权机制研究
针对音频、视频与文本模态冲突问题，新研究构建了三通道受控信息获取与弃权基准，使策略能在权衡成本后决定请求第三通道或直接弃权。在合成测试集上，阈值策略跨 83 个随机种子取得 0.789 +/- 0.006 的目标决策准确率和 0.481 +/- 0.014 的效用，以更少信息超越多数投票基准。实验同时表明成对不确定性在各预算下效用均更高，证实请求前的选择价值取决于预算与模态排序。
#多模态
#多模态
今日 2 条arXiv cs.LGAI 评分2626 arXiv cs.LGAI 评分3434 PXtal：在跨模态信息不对称下对齐粉末 X 射线衍射与晶体结构
研究人员提出多模态框架 PXtal，采用不平衡最优传输（UOT）与广义 KL（GKL）散度，解决粉末 X 射线衍射（PXRD）与晶体结构之间的跨模态信息不对称对齐难题。在包含 4 个零样本迁移集的 6 个测试集上，PXtal 在 PXRD 到晶体候选检索任务中均优于基线模型，所得编码器能更有效迁移至下游材料与晶体学任务。
arXiv cs.LGAI 评分3535 用于阿尔茨海默病诊断与进展预测的防泄漏多模态学习框架
研究人员提出融合 SFCN MRI 编码器、因果临床 Transformer 与 ODE-GRU 动力学的多模态框架，用于阿尔茨海默病诊断及进展预测。在涵盖 ADNI、OASIS-2 等数据集中 2,649 名受试者的验证中，内部混合诊断与阶段 1 进展 AUROC 分别达 0.951 和 0.909，下次随访 MMSE 的 MAE 为 1.61。
arXiv cs.LGAI 评分3333 P$^3$ 框架：什么才算医学世界模型中的个性化？
研究提出 P$^3$ 审计框架，用于评估医学世界模型是否真正基于患者纵向历史超越群体平均水平实现个性化。配合提出的 Cancer JEPA 模型可预测新辅助治疗期间未来的乳腺动态对比增强 MRI 表征。验证显示输入患者历史虽能降低误差，但与群体平均神经修正对比的 95% 区间包含零，表明 P$^3$ 能有效鉴别出真正的个体化预测价值。
arXiv stat.MLAI 评分3434 非配对典型相关分析（UCCA）
研究人员提出非配对典型相关分析（UCCA），在训练期间完全无需配对样本即可学习线性投影，最大化潜在真实配对的相关性。该方法建立了二次分配问题（QAP）与 CCA 的理论关联，据此推导出仅利用非配对数据最大化相关性的实用方案。在真实多模态数据集上的实验表明，UCCA 在恢复真实相关性上显著优于近期的非配对对齐基线。
OpenAI News精选AI 评分9191 OpenAI 全球上线 GPT-6 与 Intelligent UI
OpenAI 宣布 GPT-6 正式在 ChatGPT 中面向全球推出，并同步引入 Intelligent UI 界面。该版本提供更快的响应速度，支持可直接操作的视觉元素与交互式体验。
arXiv cs.AIAI 评分3939 从局部证据到安全判决：视觉语言模型的因果追踪
研究人员提出评估基准 SSU-Bench，通过因果追踪分析视觉语言模型内部联合安全判决的形成机制。实验在 3 个视觉语言模型上表明，针对变动输入位置的状态干预在较早解码器层有效，而针对最终输入 token 的干预则在较晚层生效。此外，对最终 token 状态的线性读出能够预测模型自身的判决结果，且不同模型呈现出相似的变化模式。
arXiv cs.AIAI 评分3131 基于阿克曼转向机器人的连续环境视觉语言导航 Sim-to-Real 迁移
该研究提出一种基于阿克曼转向移动机器人的视觉语言导航（VLN）Sim-to-Real 迁移方法，无需依赖导航图或全景视角即可在连续环境中运行。系统采用 Cross-Modal Attention（CMA）架构，结合车载相机与 LiDAR 数据，通过线性测光调整及少量真实回合微调实现实机适应并支持专用硬件离线运行。经 SPL 和 nDTW 指标评估，该方案验证了其鲁棒性与适应性。
arXiv cs.AIAI 评分3434 视觉语言模型何时重新思考：学习多视角自我验证
研究人员提出面向视觉语言模型的多视角自我验证框架 MOTIVE，以提升多模态推理的回答可靠性。该框架从互补视角评估候选答案并计算可靠性评分，在推理阶段自主决定直接接受答案或触发重新思考。实验表明，MOTIVE 在多个基准上超越了现有的自我验证与自我纠错基线，同时减少了不必要的推理轮次。
arXiv cs.AIAI 评分3737 Vision Transformer 中抽象概念接地的转喻电路研究
研究人员揭示了 Vision Transformer 通过具体锚点概念桥接视觉信号与抽象语义的“转喻接地”机制。通过对 CLIP 与 DINO 视觉编码器应用 Transcoder，研究追踪到由感知基元、具体物体锚点再到抽象目标构成的结构化转喻电路。因果干预实验进一步证实，此类转喻中间特征在模型识别抽象概念中发挥着关键功能作用。
arXiv cs.LGAI 评分2525 EVFormer：用于第一视角双手姿态估计的视觉-肌电双向注意力模型
EVFormer 结合当前 RGB 帧与前 200 ms 双腕表面肌电（sEMG）信号，通过双向交叉注意力与门控融合估计 44 个手指及手腕关节角度。在公开 EgoEMG 数据集测试中，EVFormer 取得 11.482 度的平均绝对误差，相比纯视觉基线和后期融合分别降低 13.20% 与 14.23%。此外，该模型在评估的 5 类手势中有 4 类取得最低误差。
Google DeepMind精选AI 评分7777 Google DeepMind 发布轻量多模态嵌入模型 EmbeddingGemma 2
Google DeepMind 正式推出开源轻量多模态嵌入模型 EmbeddingGemma 2，采用 Apache 2.0 协议且全模态总参数量为 740M。
推荐理由：模型将跨模态统一嵌入压缩至 740M 参数量级并支持动态截断维度，为端侧离线检索与轻量 RAG 提供了低内存落地方案。
NVIDIA BlogAI 评分4040 从扫描到治疗方案，AI 如何弥合乳腺癌诊疗的关键缺口
多家 NVIDIA Inception 初创企业正在借助 NVIDIA GPU 加速乳腺癌的成像、风险评估与治疗规划全流程。
arXiv cs.AIAI 评分3636 AMBER：面向列表式视觉-语言重排序的多视角自适应预算分配框架
研究团队提出多视角重排序框架 AMBER，以优化视觉-语言模型（VLM）列表式多模态检索中的推理预算分配。该框架通过连续 Elo 更新维护全局排序状态，在候选视角与查询调度两级动态分配计算以最大化信息增益。在 CIRR、CIRCO 和 PhotoBench 评测中，AMBER 在同等调用预算下表现最优，代码已公开。
arXiv cs.AIAI 评分4545 无需解码的批处理语音决策：单 token 监督让冻结 LLM 听懂转录文本之外的信息
研究人员提出 DuplexJev 架构，将 ASR 编码器状态传入冻结的 LLM 并直接读取单 token 选项分布，无需自回归解码即可在 8-GPU 节点上约 0.1 s 内完成 8 段语音的 80 项决策。
arXiv cs.AIAI 评分3838 TasteBench：从分子到可持续食品的感官预测多模态评测基准
TasteBench 多模态感官预测基准正式推出，涵盖基于 215 种植物基食品超 21K 次人工评估的食品排序任务，以及包含 15K 个风味分子的分类任务。基线测试显示，最佳模型在人类评分样本对上的成对准确率达 .661，优于单个人类评估员中位数的 .650，在所有同类对上达 .683。该研究已被 NeurIPS 2026 接收并开源代码。
arXiv cs.AIAI 评分3939 MEA：用于高忠实度模型解释的奖励驱动多智能体系统
研究人员提出多智能体框架 MEA，利用 Proposer 智能体配置解释工具，并通过端到端忠实度奖励优化的 Actor 智能体生成跨表格、文本与视觉模态的自然语言解释。在 6 个数据集的评估中，该优化相比未训练基干模型在表格、文本和视觉模态分别取得 +28%、+21% 和 +34% 的忠实度提升，持续超越现有基线。
arXiv cs.AIAI 评分2626 THPL：用于循环水养殖系统虹鳟鱼投喂管理的视觉-语言决策支持框架
研究人员提出生成式决策框架 THPL，将视觉运动学与大语言模型推理结合，用于循环水养殖系统中的虹鳟鱼精准投喂。该框架提取鱼群轨迹的双证据 token 并微调 LLM，使投喂决策准确率从纯文本基线的 33.33% 提升至 93.33%。引入反事实多模态直接偏好优化（mDPO）后，决策准确率进一步提升至 96.67%，METEOR 指标达到 85.30%。
arXiv cs.LGAI 评分3535 VisAudit：评估多模态智能体的可视化诊断与修复能力
研究人员推出评测基准 VisAudit，用于评估多模态智能体对数据可视化的诊断、代码修复与验证能力。该基准涵盖已诊断修复、自主修复和开放世界验证三个赛道，包含跨 21 种图表类型和 10 类缺陷的 1,900 个缺陷实例以及 300 个初始正确图表。实验显示，表现最强的前沿多模态模型在自主修复设置下仅能完全恢复 47.4% 的缺陷图表。
arXiv cs.LGAI 评分3434 面向能力保持的慢-快多教师同策略蒸馏 SF-MOPD
针对多模态大语言模型在多教师蒸馏中通用能力退化的问题，研究者提出慢-快同策略蒸馏框架 SF-MOPD。该方法耦合教师直接更新的快模型与指数移动平均慢模型，在对数概率空间中仅剔除远离慢模型的更新分量。多规模实验显示，SF-MOPD 有效减轻能力干扰，在提升专用多模态能力的同时降低通用基准退化，持续优于原生 MOPD。
arXiv cs.LGAI 评分3939 OmniMed-Jev：通过 System One 校准 LVLM 置信度以实现可信医疗多模态决策
研究人员推出 OmniMed-Jev，将医疗决策表示为候选集上的 Choice、Noul 或 Score 完整概率分布，以校准 LVLM 的输出置信度。在同骨干与训练配置的基线对比中，该模型将校准误差降低达一个数量级、可靠性误差降低达两个数量级，同时保持相当的点预测性能；相关代码已开源。
arXiv cs.LGAI 评分3333 联邦多模态图基础模型中感知与推理的耦合
研究人员提出联邦多模态图模型适应框架 FedCORE，通过共享低维潜状态同时表征多模态编码器与 GNN 更新，实现感知与结构推理的耦合适应。该方法直接在共享状态空间中进行联合优化与演化，保持了两类模块更新的兼容性。实验表明，FedCORE 将编码器与 GNN 的配对差距从 30.6 降至 5.9，较独立联合适应降低了 80.7%。
arXiv cs.LGAI 评分3232 MOVE：面向图学习的多模态开放世界验证与扩展框架
针对多模态图学习在部署后涌现新类别的开放世界难题，研究者提出 MOVE 类别验证与扩展框架。MOVE 综合视觉 token、文本属性与图上下文识别未知节点，利用多模态 LLM 生成候选类别，并仅在多模态证据一致支持时选择性扩充类别空间以避免引入冗余类别。实验表明，MOVE 在未知识别、开放域标注及下游图学习任务上平均提升了 11.87%。
arXiv cs.LGAI 评分3535 ChartDensity-Bench：评测 MLLM 在视觉密度下的数值数据重构能力
ChartDensity-Bench 提出了针对 MLLM 从复合图表中重构结构化数值数据的评测基准。该基准通过调整同时呈现的图表数量（k∈{1,3,6,9}），从结构可靠性、完整性、可解析性及数值保真度四个维度评估密度衰减。对 5 款最新 MLLM 的实验表明，数值重构表现随视觉密度增加普遍下降，同一图表在更密集背景下的重构误差更高。
arXiv cs.LGAI 评分3737 MM-FinEval：面向真实金融预测的多任务多模态评测基准
研究人员推出多模态金融预测评测基准 MM-FinEval，涵盖 2,045 场标普 500 财报电话会议及 12 个金融任务标签。输入数据整合了逐字文本、演示幻灯片与完整音频三种模态，并评估了 19 个基线模型。结果显示，处理三模态的小型 Any-to-Any 模型表现强劲，甚至超越仅支持双模态输入的更大专有模型。
arXiv cs.LGAI 评分2626 基于音频语言模型的临床精神病学录音角色引导说话人删除验证研究
研究人员提出利用音频语言模型验证精神病学录音中指定角色说话人删除情况的方法，用于自动排查脱敏遗漏。团队在 48 段双人录音上测试了 Gemma-4-12B、Gemma-4-31B、Nemotron-3-Nano 和 Nemotron-3-Nano-Omni 四款开源权重模型。经 14 种配置的集成测试，最终取得 0.478 的综合 F1 分数（精确率 0.330，召回率 0.870）。
arXiv cs.LGAI 评分3535 统一多模态模型中梯度冲突能预测理解与生成的权衡吗？
一项基于对照测试平台 GRIDUMM 的审计研究发现，统一多模态模型中的梯度冲突指标无法预测理解与生成任务间的最终权衡。在 63 种配置和 372 个检查点中，方向冲突指标与权衡的绝对 Spearman 相关系数均未达到 0.3，且单调抑制冲突并未改善权衡。这表明冲突指标缺乏直接因果效力，其诊断价值须经严格检验。
arXiv cs.AIAI 评分3333 R-GroundBench：面向马库什分子编辑中 R 基团定位的诊断基准
研究团队推出分子编辑诊断基准 R-GroundBench，基于真实专利马库什结构构建，设有 VQA 选择题与开放生成两大赛道。评测显示前沿模型在简单 VQA 上准确率超 90%，但困难 VQA 骤降至 56%–66%，跨领域 VLM 仅达 25.7%–46.2%。多数模型在生成赛道的完全匹配率低于 20%，表明当前 AI 仍缺乏可靠的马库什编辑执行能力。
arXiv cs.AIAI 评分3939 文本到 3D 评测中的配置脆弱性：场景固定下的胜者更迭
文本到 3D 评测在场景完全固定的情况下，渲染设置与提示词等配置变化仍会导致评测排名与胜者发生更迭。针对 6 个生成器的 300 个固定场景测试显示，19 个对齐评估器中有 17 个的配置方差超过生成器间方差，18 个评估器的点估计胜者发生改变。布局打乱测试中无评估器判别率超过 67%，研究建议评测需结合具体协议并报告选择感知不确定性。
arXiv cs.AIAI 评分3636 JusticeAxis：在机械法条匹配与无根据裁量之间评测法律判决能力
研究团队提出法律判决评测基准 JusticeAxis 及框架 JusticeAgent，用于在机械法条匹配与无依据裁量之间评测并平衡法律判决。JusticeAxis 包含来自 18 个国家的 256 起真实多模态刑事案件及对应的专业判决数据。实验显示开源基座易偏向无根据推断，前沿模型则倾向法定默认值，而 JusticeAgent 插件可使冻结的开源基座达到商用水平。
arXiv stat.MLAI 评分4646 Platonic Task Arithmetic：跨架构任务算术
研究提出 Platonic Task Arithmetic 与通用任务描述符（Universal Task Descriptors），使任务算术能够跨异构架构进行迁移与组合。该方法无需样本标签，通过最后一层线性算子权重编辑或低秩适配器更新目标模型，跨模型迁移可保留目标模型专属描述符 74-80% 的增益。实验在 6 个模型家族、8 个分类任务及音频-文本场景下验证了其有效性。
Cloudflare Blog精选AI 评分7272 Cloudflare 开源决策模型 Clef 与 Clef-flash 并推出强化学习微调平台
Cloudflare 发布并开源了专为智能体决策设计的 Clef 和 Clef-flash 决策模型，同时推出了基于 Workers AI 的强化学习微调平台。
推荐理由：原文展示了如何通过非自回归架构与确定性概率输出压缩智能体决策延迟，读者可参考其将小模型嵌入高频判定链路的工程设计。
Cloudflare Blog精选AI 评分6868 Cloudflare AI Search 正式商用并上线原生多模态检索
Cloudflare 宣布托管索引与检索管线 AI Search 正式商用（GA），整合 Workers AI、Vectorize 和 R2 等底层能力。新版本支持基于 Qwen3-VL-Embedding 的原生图像嵌入与图文双模态检索、PDF OCR 识别，并将文件大小上限提升至 10 MiB。
推荐理由：原文拆解了从单纯依赖描述生成到结合原生像素嵌入的多模态检索链路，读者可以据此评估将图文检索迁移到边缘托管管线的成本与可行性。
arXiv cs.AIAI 评分3131 原型引导双边对齐的多模态联邦学习框架 MFedPBA
研究者提出面向多模态联邦学习的新框架 MFedPBA，旨在解决客户端模型架构异构与模态严重不平衡的挑战。该框架引入双重对齐机制：在特征级通过对比学习与 Gromov-Wasserstein 距离对齐异构特征空间，在决策级对 logit 原型实施熵加权聚合。实验结果显示，MFedPBA 在异构及不平衡条件下的性能显著优于现有 SOTA 基线。
arXiv cs.AIAI 评分4242 基于多步嵌入向量检索的视觉空间路由学习
研究团队提出多步检索器 VHOP-Router 与基准 VHOP，使 AI 智能体在视觉潜空间通过单次调用即可检索链式图像。VHOP-Router 将检索性能从不足 5% 提升至 76.3%，智能体搜索成功率提升 52.7%，并将平均 token 长度从 1886 减少 61% 至 728。相比每步检索 top 50 的基线，它将上下文图像减少 23x，累计 API 负载降低 35x。
arXiv cs.AIAI 评分4343 UniEvo-VL：面向多模态模型自我提升的在线自蒸馏训练方案
UniEvo-VL 是一种多模态模型在线自蒸馏训练框架，让单一模型同时充当学生与基于自我纠错反馈的教师，在无需外部更大模型的情况下实现自我提升。基于开源模型 Qwen-image-2512 的实验显示，该方法将其 GenEval 得分从 0.747 提升至 0.808，GenEval2 Soft-TIFA 从 32.97 提升至 35.53。
arXiv cs.AIAI 评分2929 GATE-ST：用于空间转录组学的基因感知图文编码器
研究人员提出 GATE-ST，将基因文本描述融入病理图像以预测空间基因表达。该模型通过文本编码器提取基因摘要的 embedding，并通过 cross-attention 层与图像 embedding 融合以对齐形态学特征。基准测试表明，GATE-ST 表现优于随机基因 embedding 及多种图文融合架构，有望降低空间转录组预测的时间与成本。
arXiv cs.AIAI 评分3636 ChartRevise：基于代码的精确图表编辑数据集与评测协议
ChartRevise 是用于代码精确图表编辑的数据集与评测协议，涵盖 20 种图表类型、3 个绘图库及 344 种编辑类型的 92,438 条记录。该无参考协议分别检测需求完成度、无端变更与遗漏更新，并结合代码执行和渲染判定精确编辑成功。在 5 个模型与 4 个外部基准上微调后，平均需求召回率相对提升 16%，平均精确编辑率提升 22%。
arXiv cs.AIAI 评分3535 SimTrace：面向在线用户建模的多模态用户轨迹生成框架
研究人员开源了多模态用户轨迹生成框架 SimTrace，利用计算机使用客户端智能体生成高保真、细粒度的合成点击流数据。在电商环境评测中，SimTrace 在 8 项保真度指标中的 7 项超越基线，并在购买预测与推荐等下游任务上达到与真实数据相当的性能。在下一动作预测任务中，引入其合成数据增强使准确率相对仅用真实数据提升 11.0%。
arXiv cs.AIAI 评分3434 通过门控与衰减同策略蒸馏提升 OCR 保真度
研究人员提出 GAD-RL，通过在联合后训练中自适应调节与衰减教师监督，提升视觉语言模型的 OCR 转录保真度。该方法在任务奖励达到 0.95 时停用蒸馏并持续衰减强度，同时依据学生概率对前向 KL 加权。