反事实邻域风险场(CNRF):面向视觉语言模型的证据驱动选择性安全框架
研究人员提出了反事实邻域风险场(CNRF),这是一种面向视觉语言模型(VLM)基于证据的选择性安全框架,通过构建良性与有害反事实对将邻域支持度与风险估计分离,实现选择性干预而非一刀切拒绝。在 3 个 VLM 和 5 种多模态越狱家族的测试中,CNRF 实现了 86.06-89.30% 的宏防御成功率,并在低假阳性区间有效提升了风险排序能力。
研究人员提出了反事实邻域风险场(CNRF),这是一种面向视觉语言模型(VLM)基于证据的选择性安全框架,通过构建良性与有害反事实对将邻域支持度与风险估计分离,实现选择性干预而非一刀切拒绝。在 3 个 VLM 和 5 种多模态越狱家族的测试中,CNRF 实现了 86.06-89.30% 的宏防御成功率,并在低假阳性区间有效提升了风险排序能力。
研究者提出 Spectral-Spatial Interpretation(SSI),通过在固定周围上下文后对各空间位置的通道定义条件博弈并计算 Shapley 值,生成完整的谱空间归因矩阵。
研究对比了视觉语言模型(VLM)后训练中的同策略知识蒸馏(OPD)与过滤 SFT,发现 OPD 会在学生模型访问的状态上同时继承教师模型的知识与失败模式。
研究人员提出一种非接触式多模态筛查框架,利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中,单模态视频模型在指令朗读(Command-Reading)任务上准确率为 0.65(AUC 0.69),音频模型在问答(Question-Answering)任务上准确率为 0.67(AUC 0.73)。
研究人员提出 CogDrift-4D 分层 4D Transformer 框架,用于通过连续多模态行为衰退轨迹检测轻度认知障碍(MCI)。该架构结合会话内最小二乘回归斜率与会话间递归交叉注意力反馈编码器,并引入 Quality Gate 动态过滤低完整度特征。
研究人员提出一种多模态对比学习框架,将 EEG 脑电信号与冻结的预训练文本编码器嵌入空间对齐,以解码想象语音。该方法在包含 5 名受试者的 Chisco 数据集上覆盖 39 个意图类别,取得了与任务优化的闭集分类器相当的解码表现。此外,最大 EEG-文本余弦相似度(MaxCosine)可作为解码可靠性指标筛选高准确率样本,评估阶段的 5 个语义维度平均一致性均超过 50% 随机基准。
针对摄像头优先 AI 智能体面临的短暂目标交互(ETI)时效难题,研究团队提出了感知截止时间契约,将硬性记忆截止时间与软性推理截止时间分离。该双截止时间架构包含常驻非语义快速路径、主动记忆机制以及由多模态模型和工具构成的延迟深思层。实测显示前沿模型短回答耗时达 1.2-9.3 s,该方案确保视觉证据在单路径推理延迟导致目标消失前被持久化保存。
研究人员提出针对多模态大语言模型(MLLMs)的细粒度遗忘框架 CUSE,通过反事实输入确定需遗忘的 token,并结合同策略自蒸馏联合优化遗忘与保留目标。该方法利用冻结的原模型作为教师模型,对当前策略采样的响应进行 token 级别蒸馏。在 MLLMU-Bench 评测中,CUSE 将遗忘集的 ROUGE-L 降低 33.6%,同时保留集 ROUGE-L 相比最强基线提升 1.2%。
研究人员提出用于测试期发现(TTD)的属性语义扎根框架 SEGA,解决现有方法只能给新类别分配匿名标签且难以解释的问题。SEGA 训练时利用 LLM 生成已知类别的属性描述并构建视觉语义空间,测试时引入关系语义扎根(RSG)对比已知类别锚点、提示 LLM 生成候选概念并在语义空间中重排序。该方法将匿名测试期聚类转化为可解释的语义概念,提升了 TTD 基线性能。
研究团队提出 TasteBench 基准与控制协议,在视觉、品牌、图书和科技领域成对评估模型的审美品味。首轮 250 对样本测试量化了选项 A 占比 0.956 的位置偏差、文件名 token 泄露(得分 0.912)及 5 款 VLM 均达 1.0 的难度天花板。团队通过侧别随机化和文件名清洗纠正了构建偏差,并发布了参考评测套件与随机化工具。
研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。
研究人员提出 Forget-Aware Self-Distillation(FASD)方法,通过解耦知识遗忘与拒绝学习来解决多模态大模型遗忘中的幻觉与信息泄漏问题。该方法将目标拆分为行为通道与知识通道,前者通过掩蔽目标 token 的自蒸馏学习合理拒绝,后者独立抑制真实答案跨度。实验表明,FASD 成功遗忘目标知识并防止信息泄漏,同时保留了非目标数据的性能,相关代码和数据将在正式发表后开源。
研究者提出多模态基准诊断框架 SRCoD,通过结合题目结构与模型响应行为进行协同校准,实现对评测题目模态依赖性的细粒度诊断。该框架利用基准内容的信息结构作为软锚点建模条件响应,生成校准后的题目诊断画像并提供可解释归因。实验表明,SRCoD 在基准优化与人工标注验证下均优于现有基准诊断方法。
研究者提出基于生理学机制的可穿戴 PPG 表征学习框架 HiPPT,通过将不同监督源匹配到对应的波形证据范围,并构建了包含 20.2 万名用户逾 400 万条腕部记录的 PPG 文本语料库。
研究人员提出 MOSAIC 方法,通过学习共享的稀疏图文潜在空间,实现视觉语言模型(VLM)在图像区域与文本短语层面的细粒度训练样本归因。该方法结合 EK-FAC 将样本影响分解到具体概念并定位其贡献,已在 Qwen 与 Gemma 上完成图像描述、胸部 X 光理解和视觉问答评测。实验表明消融影响度排序的潜在特征比基于激活或频率的基准更能改变模型输出。
研究人员提出基于选择的结构化推理(SSR)框架,将多模态智能体的开放式推理重构为从预设可复用的候选推理中进行选择。在 2B 与 4B 模型及 7 个多模态搜索评测基准上的测试显示,该方法在保持任务成功率的同时,将每轮推理延迟降低超过 90%,并将每个问题的模型总推理延迟降低 28–54%。
NVIDIA 正式发布 120B 参数的开源模型 Nemotron 3.5 Super VL,以及面向本地和边缘智能体的 Nemotron 3.5 Bolt 74B-A9B 与 Bolt E4B 两款端侧模型。
推荐理由:通过涵盖云端多模态与端侧量化模型,该系列为企业本地部署全流程智能体提供了开源权重与配套微调方案。
Apple 研究团队系统探索了三模态掩码扩散模型(MDM)的设计空间,在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程(SDE)的重参数化方法以解耦物理与逻辑批大小,并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。
Google Research 在其 Research@ 活动上公布了 10 项重点 AI 技术与工具进展,全面推进科研、医疗、地理分析及企业数据决策工具的落地。
Higgsfield 将 AI 视频生成时长从 1 分钟拓展至 10 分钟以上。平台借助 GPT-6 Astra 为创作者提供更长视频制作能力,并结合 GPT-Image-2.5 实现精准的视觉呈现。此外,Higgsfield 还通过 GPT-Live 为创作者开辟了语音电影制作的新路径。
研究者提出基于 Dempster-Shafer 融合的证据多模态 Transformer(EMT-DS),通过将预测建模为狄利克雷分布并利用登普斯特组合规则融合证据,解决多模态情绪识别中传感器损坏或冲突导致的过度自信问题。
研究人员提出了全模态字节级模型架构 Kairos,它将 LiZAttention2 混合注意力、稀疏 MoE 前馈层与多尺度字节级编解码器相结合,在文本、图像、音频等共享的统一字节空间上进行去噪训练。在 1-15M 参数规模的单句收敛性健全性检查中,测试的两种注意力变体在 3000 步时最小损失接近 10⁻³。该实验验证了架构的可优化性,后续计划通过预训练进一步验证泛化与多模态能力。
研究人员提出 AdaC-GRPO 强化学习框架与细粒度基准 FG-Sudoku,用于解决前沿多模态大模型在长程视觉数独任务中因低成功率导致的奖励稀疏问题。该方法通过在线采样准确率动态追踪模型的最近发展区来构建训练批次。
研究人员提出多模态文档问答流水线 KnowForge,通过混合检索知识点索引、专职搜索的 Locator 智能体与专职解析图表文本的 Deep Reader 智能体实现分工协作。
研究提出一种黑盒因果测试方法,通过 CLAP 定位证据区域并进行频谱门控消融,用于审计大型音频语言模型(LALM)的对象幻觉。在固定持续时间下,局部消融在各测试组的表现均优于随机移除,且改进的对比解码将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。检测效果因模型而异,统一因果定位机制在 Audio Flamingo 3 等模型间无法直接迁移。
研究人员提出 VETR 框架,通过可执行世界表征实现符号图形推理的智能体递归自改进。该框架保留对齐的程序与渲染记录,利用执行细化器将运行时的写入与状态变化编译为受约束的替代程序,修复过程无需额外的语言模型调用。
研究人员提出了面向大音频语言模型的高效推理框架 SWEAR,通过互补的离线评估获取五维难度分数与压缩推理轨迹。该框架在监督微调阶段学习难度信号,并利用强化学习自适应分配各阶段的推理开销。在 MMAU-test-mini 和 MMAR 基准上的实验表明,SWEAR 在提升准确率的同时大幅减少了生成的 token 数量。
研究人员提出 Work2Skill 框架,通过捕获人类桌面 GUI 操作经验来归纳可复用的 AI 智能体技能。该框架包含用于同步记录屏幕、键鼠操作与无障碍树的 WorkRecorder,以及首个包含 350 个完整演示的多模态数据集 WorkDemo-350。
研究人员推出 MathVis 评测基准,包含 512 个任务,用于评估大语言模型可视化前沿数学问题及图表辅助推理的能力。在严格评测中,GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 分数分别为 31.25%、26.56% 和 22.85%。
研究提出 Language as Supervision(LaS)框架,通过将神经特征与自然语言类别描述对齐来解码神经活动。在涵盖视觉、运动和语音解码的 7 种编码器架构测试中,LaS 相比类别标签监督基线将语音解码准确率最高提升 17.15 pp。该表征还支持候选集复用与受试者适应,并在稳态视觉诱发电位(SSVEP)中实现了条件未见频率解码。
研究团队推出基准 GeoSpatialBench,基于 6 座真实城市数据评估 MLLM 在 28 种空间关系下的空间推理与受限编辑能力。评测显示前沿模型处理结构化 GeoJSON 的表现持续优于地图图像,且定性关系表现优于定量度量关系。在受限空间编辑任务中模型表现显著下滑,多数失败编辑均违反了指定的空间几何约束。
研究人员提出一种仅需 100 到 500 对样本即可实现单模态编码器对齐的方法。该方案利用少量配对锚点建立统一坐标系,通过解决全量数据的熵正则最优传输问题抵消集聚效应,并将匹配方案蒸馏至两个轻量级编码器以支持归纳推理。实验表明,在相同锚点预算下,该方法在 Flickr30k、MS-COCO 和 ChEBI-20 的图像-文本及分子-文本对齐评测中超越现有方案。
Cloudflare 正式发布开源权重决策模型 Clef-omni,原生支持文本、图像、音频与视频联合输入,并在 Hugging Face 开源权重。该模型基于 Qwen3-Omni-30B-A3B-Instruct 架构构建,跳过输出 token 生成以实现低延迟直接打分。
推荐理由:原文给出了决策模型统一处理音视频输入的方法,适合需要精简多模态处理流水线的工程团队参考。
BEVPIPE 框架提出了一种利用便携式 GPU 计算 API 部署多模态 BEV 感知流水线的方法,解决了标准推理运行时与稀疏 3D 卷积等算子不匹配的部署难题。
研究人员提出认知导向情感框架 TRACE 及基准 TRACE-Bench,基于 646 个视频与 3,746 个问答对评估多模态大模型的情感追踪能力。评测发现模型表现显著落后于人类,常将外显行为误判为真实感受并在长链推理中捏造情节。基于该框架提出的结构化推理方法 TRACER,在涵盖因果推理与全链重构等 5 项任务上均超越所有基线模型。
研究人员提出通用多模态指令生成流水线 UniData,可将简单的用户需求转换为多轮多模态指令。该方法结合 any-to-any 大模型生成指令并修正冗余推理流,同时构建了涵盖 9 种模态、共 20,000 条数据的 UniDataset。实验表明 UniData 在数据质量上达到 SOTA 表现,能有效增强其他多模态模型的理解与生成能力。
研究人员提出多智能体框架 MedBenchAgent,将医疗 VLM 基准构建表述为受限编译过程,以系统化推导基准规范并生成评测项目。该框架采用基准中间表示(BIR)解耦规划与实例化阶段,取得 90.9% 的 Task-Space F1,抽样的 1,000 个项目中 994 个通过人工审核。该框架已成功迁移至专门医疗领域并评测了 12 个 VLM。
Harness Compilation(HC)通过教师模型优化冻结的小型视觉语言模型(VLM)与外部 harness 间的分工,部署时无需更新权重或调用教师模型。
研究者提出了 GameCommBench 评测基准与 TACE 评估框架,旨在统一棋盘游戏、体育和电竞等多模态场景下的 AI 游戏解说评估。TACE 通过类型感知结构化评测不同解说功能,并已通过人类一致性验证。评测代表性 AI 解说员的结果显示其能力分布不均,其中现场实时观察与策略分析是当前的核心瓶颈。
研究者提出了轨迹对齐指令翻译器 TGIT,在保持空中视觉语言导航智能体 OpenFly 冻结的前提下,将用户简短的意图型指令转化为可执行指令。TGIT 将弱指令输入的成功率提升至 37.93%,并零样本迁移至真实人类指令,将成功率从 11.33% 提升至 32.51%。