Mistral 发布万亿参数多模态模型 Mistral Large 4 预览版
Mistral 发布 Mistral Large 4 公开预览版，API 现已上线 Mistral Studio，模型权重预计 10 月底开放。该模型采用细粒度 MoE 架构，总参数量达 1.05 万亿且激活参数 490 亿，原生支持多模态与 100 万 token 上下文窗口。
推荐理由：模型在放宽网络安全任务限制的同时主打欧洲本地部署，展示了开源模型在特定企业合规与安全防护场景中的差异化定位。
#多模态
#多模态
今日 2 条The Decoder精选AI 评分7979 The DecoderAI 评分6969 Reka AI 发布全模态模型 Rho-1，单个模型统一处理文本、视频与机器人控制
Reka AI 发布 19B 参数的全模态模型 Rho-1 研究预览版，在单个神经网络内统一处理和生成文本、图像、视频及机器人控制动作。该模型将所有模态作为 token 置于同一上下文窗口中，无需外部模型或工具调用，可实时生成连续视频并直接驱动机器人运动。团队还构建了逆动力学模型从普通互联网视频提取控制信号，以缓解机器人训练数据稀缺问题。
NVIDIA BlogAI 评分4040 从扫描到治疗方案，AI 如何弥合乳腺癌诊疗的关键缺口
多家 NVIDIA Inception 初创企业正在借助 NVIDIA GPU 加速乳腺癌的成像、风险评估与治疗规划全流程。
arXiv cs.AIAI 评分3636 AMBER：面向列表式视觉-语言重排序的多视角自适应预算分配框架
研究团队提出多视角重排序框架 AMBER，以优化视觉-语言模型（VLM）列表式多模态检索中的推理预算分配。该框架通过连续 Elo 更新维护全局排序状态，在候选视角与查询调度两级动态分配计算以最大化信息增益。在 CIRR、CIRCO 和 PhotoBench 评测中，AMBER 在同等调用预算下表现最优，代码已公开。
arXiv cs.AIAI 评分4545 无需解码的批处理语音决策：单 token 监督让冻结 LLM 听懂转录文本之外的信息
研究人员提出 DuplexJev 架构，将 ASR 编码器状态传入冻结的 LLM 并直接读取单 token 选项分布，无需自回归解码即可在 8-GPU 节点上约 0.1 s 内完成 8 段语音的 80 项决策。
arXiv cs.AIAI 评分3838 TasteBench：从分子到可持续食品的感官预测多模态评测基准
TasteBench 多模态感官预测基准正式推出，涵盖基于 215 种植物基食品超 21K 次人工评估的食品排序任务，以及包含 15K 个风味分子的分类任务。基线测试显示，最佳模型在人类评分样本对上的成对准确率达 .661，优于单个人类评估员中位数的 .650，在所有同类对上达 .683。该研究已被 NeurIPS 2026 接收并开源代码。
arXiv cs.AIAI 评分3939 MEA：用于高忠实度模型解释的奖励驱动多智能体系统
研究人员提出多智能体框架 MEA，利用 Proposer 智能体配置解释工具，并通过端到端忠实度奖励优化的 Actor 智能体生成跨表格、文本与视觉模态的自然语言解释。在 6 个数据集的评估中，该优化相比未训练基干模型在表格、文本和视觉模态分别取得 +28%、+21% 和 +34% 的忠实度提升，持续超越现有基线。
arXiv cs.AIAI 评分2626 THPL：用于循环水养殖系统虹鳟鱼投喂管理的视觉-语言决策支持框架
研究人员提出生成式决策框架 THPL，将视觉运动学与大语言模型推理结合，用于循环水养殖系统中的虹鳟鱼精准投喂。该框架提取鱼群轨迹的双证据 token 并微调 LLM，使投喂决策准确率从纯文本基线的 33.33% 提升至 93.33%。引入反事实多模态直接偏好优化（mDPO）后，决策准确率进一步提升至 96.67%，METEOR 指标达到 85.30%。
arXiv cs.LGAI 评分3535 VisAudit：评估多模态智能体的可视化诊断与修复能力
研究人员推出评测基准 VisAudit，用于评估多模态智能体对数据可视化的诊断、代码修复与验证能力。该基准涵盖已诊断修复、自主修复和开放世界验证三个赛道，包含跨 21 种图表类型和 10 类缺陷的 1,900 个缺陷实例以及 300 个初始正确图表。实验显示，表现最强的前沿多模态模型在自主修复设置下仅能完全恢复 47.4% 的缺陷图表。
arXiv cs.LGAI 评分3434 面向能力保持的慢-快多教师同策略蒸馏 SF-MOPD
针对多模态大语言模型在多教师蒸馏中通用能力退化的问题，研究者提出慢-快同策略蒸馏框架 SF-MOPD。该方法耦合教师直接更新的快模型与指数移动平均慢模型，在对数概率空间中仅剔除远离慢模型的更新分量。多规模实验显示，SF-MOPD 有效减轻能力干扰，在提升专用多模态能力的同时降低通用基准退化，持续优于原生 MOPD。
The DecoderAI 评分6060 NASA 与 IBM 开源月球基础模型
NASA 与 IBM Research 联合发布开源月球科学基础模型 NASA-IBM Lunar Foundation Model，基于 17 年多模态月球观测数据从头训练而成。
量子位AI 评分6565 通用模型冲击下Meshy不到2年ARR破1亿美元，专业AI 3D模型壁垒何在
在通用多模态模型展现基础建模能力的背景下，AI 3D生成公司Meshy披露其ARR在不到两年内从100万美元增长至1亿美元。文章对比指出，通用模型目前更擅长规则化几何搭建，而高精度的角色结构与纹理细节仍依赖垂直3D模型把控；Meshy已切入游戏制作管线和3D打印生态，并通过分层架构Mora探索以3D固定空间的实时互动内容场景。
The DecoderAI 评分6262 AI 智能体可通过单张照片编写代码重建 3D 场景，但缺乏可靠的几何自评能力
研究团队提出 LEGO-Anything 和评估基准 LEGO-Bench，发现代码智能体虽能通过迭代编写 Blender 程序从单图构建 3D 场景，但对几何精度的自评表现接近随机猜测，常在后续修改中破坏已建好的场景。为此团队开发了无需额外训练的 LEGO-Plugin，通过引入客观度量替代模型自评并阻止回退修改，使参与测试的模型表现普遍获得提升。
arXiv cs.LGAI 评分3939 OmniMed-Jev：通过 System One 校准 LVLM 置信度以实现可信医疗多模态决策
研究人员推出 OmniMed-Jev，将医疗决策表示为候选集上的 Choice、Noul 或 Score 完整概率分布，以校准 LVLM 的输出置信度。在同骨干与训练配置的基线对比中，该模型将校准误差降低达一个数量级、可靠性误差降低达两个数量级，同时保持相当的点预测性能；相关代码已开源。
arXiv cs.LGAI 评分3333 联邦多模态图基础模型中感知与推理的耦合
研究人员提出联邦多模态图模型适应框架 FedCORE，通过共享低维潜状态同时表征多模态编码器与 GNN 更新，实现感知与结构推理的耦合适应。该方法直接在共享状态空间中进行联合优化与演化，保持了两类模块更新的兼容性。实验表明，FedCORE 将编码器与 GNN 的配对差距从 30.6 降至 5.9，较独立联合适应降低了 80.7%。
arXiv cs.LGAI 评分3232 MOVE：面向图学习的多模态开放世界验证与扩展框架
针对多模态图学习在部署后涌现新类别的开放世界难题，研究者提出 MOVE 类别验证与扩展框架。MOVE 综合视觉 token、文本属性与图上下文识别未知节点，利用多模态 LLM 生成候选类别，并仅在多模态证据一致支持时选择性扩充类别空间以避免引入冗余类别。实验表明，MOVE 在未知识别、开放域标注及下游图学习任务上平均提升了 11.87%。
The DecoderAI 评分7070 Cloudflare 发布 Clef 与 Clef-flash 决策模型
Cloudflare 推出 Clef 和 Clef-flash 两款专为 AI 智能体打造的决策模型，旨在以概率化分类输出替代冗长文本推理并减少人工干预。模型分别基于 Qwen3.8-27B 和 Qwen3.5-9B 构建，支持图像多模态输入与 64,000 token 上下文，Clef-flash 中位延迟低至约 39 毫秒。
arXiv cs.LGAI 评分3535 ChartDensity-Bench：评测 MLLM 在视觉密度下的数值数据重构能力
ChartDensity-Bench 提出了针对 MLLM 从复合图表中重构结构化数值数据的评测基准。该基准通过调整同时呈现的图表数量（k∈{1,3,6,9}），从结构可靠性、完整性、可解析性及数值保真度四个维度评估密度衰减。对 5 款最新 MLLM 的实验表明，数值重构表现随视觉密度增加普遍下降，同一图表在更密集背景下的重构误差更高。
arXiv cs.LGAI 评分3737 MM-FinEval：面向真实金融预测的多任务多模态评测基准
研究人员推出多模态金融预测评测基准 MM-FinEval，涵盖 2,045 场标普 500 财报电话会议及 12 个金融任务标签。输入数据整合了逐字文本、演示幻灯片与完整音频三种模态，并评估了 19 个基线模型。结果显示，处理三模态的小型 Any-to-Any 模型表现强劲，甚至超越仅支持双模态输入的更大专有模型。
arXiv cs.LGAI 评分2626 基于音频语言模型的临床精神病学录音角色引导说话人删除验证研究
研究人员提出利用音频语言模型验证精神病学录音中指定角色说话人删除情况的方法，用于自动排查脱敏遗漏。团队在 48 段双人录音上测试了 Gemma-4-12B、Gemma-4-31B、Nemotron-3-Nano 和 Nemotron-3-Nano-Omni 四款开源权重模型。经 14 种配置的集成测试，最终取得 0.478 的综合 F1 分数（精确率 0.330，召回率 0.870）。
arXiv cs.LGAI 评分3535 统一多模态模型中梯度冲突能预测理解与生成的权衡吗？
一项基于对照测试平台 GRIDUMM 的审计研究发现，统一多模态模型中的梯度冲突指标无法预测理解与生成任务间的最终权衡。在 63 种配置和 372 个检查点中，方向冲突指标与权衡的绝对 Spearman 相关系数均未达到 0.3，且单调抑制冲突并未改善权衡。这表明冲突指标缺乏直接因果效力，其诊断价值须经严格检验。
arXiv cs.AIAI 评分3333 R-GroundBench：面向马库什分子编辑中 R 基团定位的诊断基准
研究团队推出分子编辑诊断基准 R-GroundBench，基于真实专利马库什结构构建，设有 VQA 选择题与开放生成两大赛道。评测显示前沿模型在简单 VQA 上准确率超 90%，但困难 VQA 骤降至 56%–66%，跨领域 VLM 仅达 25.7%–46.2%。多数模型在生成赛道的完全匹配率低于 20%，表明当前 AI 仍缺乏可靠的马库什编辑执行能力。
arXiv cs.AIAI 评分3939 文本到 3D 评测中的配置脆弱性：场景固定下的胜者更迭
文本到 3D 评测在场景完全固定的情况下，渲染设置与提示词等配置变化仍会导致评测排名与胜者发生更迭。针对 6 个生成器的 300 个固定场景测试显示，19 个对齐评估器中有 17 个的配置方差超过生成器间方差，18 个评估器的点估计胜者发生改变。布局打乱测试中无评估器判别率超过 67%，研究建议评测需结合具体协议并报告选择感知不确定性。
arXiv cs.AIAI 评分3636 JusticeAxis：在机械法条匹配与无根据裁量之间评测法律判决能力
研究团队提出法律判决评测基准 JusticeAxis 及框架 JusticeAgent，用于在机械法条匹配与无依据裁量之间评测并平衡法律判决。JusticeAxis 包含来自 18 个国家的 256 起真实多模态刑事案件及对应的专业判决数据。实验显示开源基座易偏向无根据推断，前沿模型则倾向法定默认值，而 JusticeAgent 插件可使冻结的开源基座达到商用水平。
arXiv stat.MLAI 评分4646 Platonic Task Arithmetic：跨架构任务算术
研究提出 Platonic Task Arithmetic 与通用任务描述符（Universal Task Descriptors），使任务算术能够跨异构架构进行迁移与组合。该方法无需样本标签，通过最后一层线性算子权重编辑或低秩适配器更新目标模型，跨模型迁移可保留目标模型专属描述符 74-80% 的增益。实验在 6 个模型家族、8 个分类任务及音频-文本场景下验证了其有效性。
The Verge · AIAI 评分6363 Google 推出 Guided Vision 功能，助力 Gemini Live 实时识别与阅读
Google 在兼容 Android 设备的 Gemini Live 中上线 Guided Vision 功能，利用 AI 对手机摄像头画面提供实时语音描述。该功能主要面向盲人与低视力群体，支持读取细小文字、描述周边环境及识别物体，并提供镜头对齐的音频提示与追问能力。
The DecoderAI 评分5959 Tavus 推出实时视频交互模型 Griffin，近半数受试者在通话中误认为真人
Tavus 推出用于实时面对面双向视频对话的交互模型 Griffin，测试中有 48% 的受试者在一分钟视频通话中将其误认为真人。该模型可同步处理并生成语音、面部表情、语调与手势，在拟真度测试中获得 3.83 分，接近人类得分的 3.92 分。目前精简版本 Griffin-Lite 已向指定测试人员开放研究预览，主要面向辅导教学与客服支持等场景。
Cloudflare Blog精选AI 评分7272 Cloudflare 开源决策模型 Clef 与 Clef-flash 并推出强化学习微调平台
Cloudflare 发布并开源了专为智能体决策设计的 Clef 和 Clef-flash 决策模型，同时推出了基于 Workers AI 的强化学习微调平台。
推荐理由：原文展示了如何通过非自回归架构与确定性概率输出压缩智能体决策延迟，读者可参考其将小模型嵌入高频判定链路的工程设计。
Cloudflare Blog精选AI 评分6868 Cloudflare AI Search 正式商用并上线原生多模态检索
Cloudflare 宣布托管索引与检索管线 AI Search 正式商用（GA），整合 Workers AI、Vectorize 和 R2 等底层能力。新版本支持基于 Qwen3-VL-Embedding 的原生图像嵌入与图文双模态检索、PDF OCR 识别，并将文件大小上限提升至 10 MiB。
推荐理由：原文拆解了从单纯依赖描述生成到结合原生像素嵌入的多模态检索链路，读者可以据此评估将图文检索迁移到边缘托管管线的成本与可行性。
arXiv cs.AIAI 评分3131 原型引导双边对齐的多模态联邦学习框架 MFedPBA
研究者提出面向多模态联邦学习的新框架 MFedPBA，旨在解决客户端模型架构异构与模态严重不平衡的挑战。该框架引入双重对齐机制：在特征级通过对比学习与 Gromov-Wasserstein 距离对齐异构特征空间，在决策级对 logit 原型实施熵加权聚合。实验结果显示，MFedPBA 在异构及不平衡条件下的性能显著优于现有 SOTA 基线。
arXiv cs.AIAI 评分4242 基于多步嵌入向量检索的视觉空间路由学习
研究团队提出多步检索器 VHOP-Router 与基准 VHOP，使 AI 智能体在视觉潜空间通过单次调用即可检索链式图像。VHOP-Router 将检索性能从不足 5% 提升至 76.3%，智能体搜索成功率提升 52.7%，并将平均 token 长度从 1886 减少 61% 至 728。相比每步检索 top 50 的基线，它将上下文图像减少 23x，累计 API 负载降低 35x。
arXiv cs.AIAI 评分4343 UniEvo-VL：面向多模态模型自我提升的在线自蒸馏训练方案
UniEvo-VL 是一种多模态模型在线自蒸馏训练框架，让单一模型同时充当学生与基于自我纠错反馈的教师，在无需外部更大模型的情况下实现自我提升。基于开源模型 Qwen-image-2512 的实验显示，该方法将其 GenEval 得分从 0.747 提升至 0.808，GenEval2 Soft-TIFA 从 32.97 提升至 35.53。
arXiv cs.AIAI 评分2929 GATE-ST：用于空间转录组学的基因感知图文编码器
研究人员提出 GATE-ST，将基因文本描述融入病理图像以预测空间基因表达。该模型通过文本编码器提取基因摘要的 embedding，并通过 cross-attention 层与图像 embedding 融合以对齐形态学特征。基准测试表明，GATE-ST 表现优于随机基因 embedding 及多种图文融合架构，有望降低空间转录组预测的时间与成本。
arXiv cs.AIAI 评分3636 ChartRevise：基于代码的精确图表编辑数据集与评测协议
ChartRevise 是用于代码精确图表编辑的数据集与评测协议，涵盖 20 种图表类型、3 个绘图库及 344 种编辑类型的 92,438 条记录。该无参考协议分别检测需求完成度、无端变更与遗漏更新，并结合代码执行和渲染判定精确编辑成功。在 5 个模型与 4 个外部基准上微调后，平均需求召回率相对提升 16%，平均精确编辑率提升 22%。
arXiv cs.AIAI 评分3535 SimTrace：面向在线用户建模的多模态用户轨迹生成框架
研究人员开源了多模态用户轨迹生成框架 SimTrace，利用计算机使用客户端智能体生成高保真、细粒度的合成点击流数据。在电商环境评测中，SimTrace 在 8 项保真度指标中的 7 项超越基线，并在购买预测与推荐等下游任务上达到与真实数据相当的性能。在下一动作预测任务中，引入其合成数据增强使准确率相对仅用真实数据提升 11.0%。
arXiv cs.AIAI 评分3434 通过门控与衰减同策略蒸馏提升 OCR 保真度
研究人员提出 GAD-RL，通过在联合后训练中自适应调节与衰减教师监督，提升视觉语言模型的 OCR 转录保真度。该方法在任务奖励达到 0.95 时停用蒸馏并持续衰减强度，同时依据学生概率对前向 KL 加权。
arXiv stat.MLAI 评分3636 CAMOS：用于多模态临床时间序列的耦合振荡状态空间模型
研究人员提出 CAMOS，一种用于多模态临床时间序列的耦合振荡状态空间模型，通过受可用性门控的耦合矩阵让转移算子自适应测量缺失，同时保留并行扫描。在 ADNI 基准上，CAMOS 在分期、界标预测和纵向预测中均优于未耦合模型与临床融合模型。在零样本迁移至 OASIS-3 时，它是唯一避免坍缩至多数类的模型。
TechCrunch · AIAI 评分7070 Google 发布 Gemini 4 Argon 模型，主打网络安全防御与长流程深度推理
Google 正式发布 Gemini 4 Argon 模型，主打防御性网络安全并支持自主查找、验证和修补关键软件漏洞。该模型具备长流程深度推理以及长视频与图表解析能力，目前已在 Google 内部用于调试与代码库迁移，并通过 Fairwind Program 仅向部分安全合作伙伴定向提供。
arXiv cs.LGAI 评分3030 EnergyEminence：基于物理电网数字孪生的源感知环境校准与评估
EnergyEminence 平台结合 IEEE 118 节点式图时序预测与非线性交流级联模拟，构建了具备野火检测校准的电网数字孪生测试环境。基于 16 个合成视频生成的 160 个电网场景测试中，该系统取得 10 个真阳性、8 个假阳性、22 个真阴性且无假阴性。该诊断揭示了随机划分掩盖的环境捷径学习，并为解耦环境预警与电气级联推理提供了可检验评估流程。
arXiv cs.LGAI 评分3434 面向地震与测井表征学习的物理跨模态掩码自编码器 CM-MAE
CM-MAE 是一种物理跨模态掩码自编码器，通过四轴旋转位置嵌入与 MoE 层联合学习 3D 地震体与 1D 稀疏测井数据的表征。该模型在涵盖约 17.8 万平方公里的 23 个地震体及约 9.2 万口井上预训练，地震上下文使留出测井重构效果提升 9.73%。在离岸盐体识别评估中其 AUROC 达 0.910，并在陆上未知工区保留了地层构造。