跳到正文

#多模态

今日 2 条
10月16日周五
  1. arXiv cs.AI34

    反事实邻域风险场(CNRF):面向视觉语言模型的证据驱动选择性安全框架

    研究人员提出了反事实邻域风险场(CNRF),这是一种面向视觉语言模型(VLM)基于证据的选择性安全框架,通过构建良性与有害反事实对将邻域支持度与风险估计分离,实现选择性干预而非一刀切拒绝。在 3 个 VLM 和 5 种多模态越狱家族的测试中,CNRF 实现了 86.06-89.30% 的宏防御成功率,并在低假阳性区间有效提升了风险排序能力。

  2. arXiv cs.LG31

    用于认知障碍检测的以任务为中心多模态学习

    研究人员提出一种非接触式多模态筛查框架,利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中,单模态视频模型在指令朗读(Command-Reading)任务上准确率为 0.65(AUC 0.69),音频模型在问答(Question-Answering)任务上准确率为 0.67(AUC 0.73)。

  3. arXiv cs.LG34

    EEG 与文本的语义对齐:用于解码想象语音的对比学习框架

    研究人员提出一种多模态对比学习框架,将 EEG 脑电信号与冻结的预训练文本编码器嵌入空间对齐,以解码想象语音。该方法在包含 5 名受试者的 Chisco 数据集上覆盖 39 个意图类别,取得了与任务优化的闭集分类器相当的解码表现。此外,最大 EEG-文本余弦相似度(MaxCosine)可作为解码可靠性指标筛选高准确率样本,评估阶段的 5 个语义维度平均一致性均超过 50% 随机基准。

  4. arXiv cs.AI40

    摄像头优先的 AI 智能体应如何工作?

    针对摄像头优先 AI 智能体面临的短暂目标交互(ETI)时效难题,研究团队提出了感知截止时间契约,将硬性记忆截止时间与软性推理截止时间分离。该双截止时间架构包含常驻非语义快速路径、主动记忆机制以及由多模态模型和工具构成的延迟深思层。实测显示前沿模型短回答耗时达 1.2-9.3 s,该方案确保视觉证据在单路径推理延迟导致目标消失前被持久化保存。

  5. arXiv cs.AI34

    CUSE:基于反事实引导与同策略自蒸馏的多模态细粒度遗忘框架

    研究人员提出针对多模态大语言模型(MLLMs)的细粒度遗忘框架 CUSE,通过反事实输入确定需遗忘的 token,并结合同策略自蒸馏联合优化遗忘与保留目标。该方法利用冻结的原模型作为教师模型,对当前策略采样的响应进行 token 级别蒸馏。在 MLLMU-Bench 评测中,CUSE 将遗忘集的 ROUGE-L 降低 33.6%,同时保留集 ROUGE-L 相比最强基线提升 1.2%。

  6. arXiv cs.AI33

    用于测试期类别发现的关系语义扎根框架 SEGA

    研究人员提出用于测试期发现(TTD)的属性语义扎根框架 SEGA,解决现有方法只能给新类别分配匿名标签且难以解释的问题。SEGA 训练时利用 LLM 生成已知类别的属性描述并构建视觉语义空间,测试时引入关系语义扎根(RSG)对比已知类别锚点、提示 LLM 生成候选概念并在语义空间中重排序。该方法将匿名测试期聚类转化为可解释的语义概念,提升了 TTD 基线性能。

  7. arXiv cs.AI39

    如何构建真正衡量审美品味的评测基准 TasteBench

    研究团队提出 TasteBench 基准与控制协议,在视觉、品牌、图书和科技领域成对评估模型的审美品味。首轮 250 对样本测试量化了选项 A 占比 0.956 的位置偏差、文件名 token 泄露(得分 0.912)及 5 款 VLM 均达 1.0 的难度天花板。团队通过侧别随机化和文件名清洗纠正了构建偏差,并发布了参考评测套件与随机化工具。

  8. arXiv cs.AI27

    用于高效印度手语识别的混合运动学 GCN 与弹性 Transformer 框架

    研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。

  9. arXiv cs.AI34

    解耦多模态大语言模型遗忘中的知识遗忘与拒绝学习

    研究人员提出 Forget-Aware Self-Distillation(FASD)方法,通过解耦知识遗忘与拒绝学习来解决多模态大模型遗忘中的幻觉与信息泄漏问题。该方法将目标拆分为行为通道与知识通道,前者通过掩蔽目标 token 的自蒸馏学习合理拒绝,后者独立抑制真实答案跨度。实验表明,FASD 成功遗忘目标知识并防止信息泄漏,同时保留了非目标数据的性能,相关代码和数据将在正式发表后开源。

  10. arXiv cs.AI35

    多模态基准真的有用吗?基于结构-响应协同校准的题目级基准诊断框架 SRCoD

    研究者提出多模态基准诊断框架 SRCoD,通过结合题目结构与模型响应行为进行协同校准,实现对评测题目模态依赖性的细粒度诊断。该框架利用基准内容的信息结构作为软锚点建模条件响应,生成校准后的题目诊断画像并提供可解释归因。实验表明,SRCoD 在基准优化与人工标注验证下均优于现有基准诊断方法。

  11. arXiv cs.AI36

    MOSAIC:面向视觉语言模型的 patch 级训练样本归因方法

    研究人员提出 MOSAIC 方法,通过学习共享的稀疏图文潜在空间,实现视觉语言模型(VLM)在图像区域与文本短语层面的细粒度训练样本归因。该方法结合 EK-FAC 将样本影响分解到具体概念并定位其贡献,已在 Qwen 与 Gemma 上完成图像描述、胸部 X 光理解和视觉问答评测。实验表明消融影响度排序的潜在特征比基于激活或频率的基准更能改变模型输出。

  12. Apple ML Research43

    基于选择的结构化推理(SSR):迈向高效多模态搜索智能体

    研究人员提出基于选择的结构化推理(SSR)框架,将多模态智能体的开放式推理重构为从预设可复用的候选推理中进行选择。在 2B 与 4B 模型及 7 个多模态搜索评测基准上的测试显示,该方法在保持任务成功率的同时,将每轮推理延迟降低超过 90%,并将每个问题的模型总推理延迟降低 28–54%。

10月15日周四
  1. Apple ML Research51

    Apple 研究团队探索三模态掩码扩散模型的设计空间

    Apple 研究团队系统探索了三模态掩码扩散模型(MDM)的设计空间,在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程(SDE)的重参数化方法以解耦物理与逻辑批大小,并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。

10月14日周三
10月12日周一
  1. arXiv cs.LG26

    Kairos:迈向全模态字节级基础模型

    研究人员提出了全模态字节级模型架构 Kairos,它将 LiZAttention2 混合注意力、稀疏 MoE 前馈层与多尺度字节级编解码器相结合,在文本、图像、音频等共享的统一字节空间上进行去噪训练。在 1-15M 参数规模的单句收敛性健全性检查中,测试的两种注意力变体在 3000 步时最小损失接近 10⁻³。该实验验证了架构的可优化性,后续计划通过预训练进一步验证泛化与多模态能力。

  2. arXiv cs.AI35

    位置重要吗?黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位

    研究提出一种黑盒因果测试方法,通过 CLAP 定位证据区域并进行频谱门控消融,用于审计大型音频语言模型(LALM)的对象幻觉。在固定持续时间下,局部消融在各测试组的表现均优于随机移除,且改进的对比解码将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。检测效果因模型而异,统一因果定位机制在 Audio Flamingo 3 等模型间无法直接迁移。

  3. arXiv cs.AI33

    SWEAR:通过自评难度实现分段高效音频推理

    研究人员提出了面向大音频语言模型的高效推理框架 SWEAR,通过互补的离线评估获取五维难度分数与压缩推理轨迹。该框架在监督微调阶段学习难度信号,并利用强化学习自适应分配各阶段的推理开销。在 MMAU-test-mini 和 MMAR 基准上的实验表明,SWEAR 在提升准确率的同时大幅减少了生成的 token 数量。

  4. arXiv cs.AI39

    用自然语言训练神经解码器

    研究提出 Language as Supervision(LaS)框架,通过将神经特征与自然语言类别描述对齐来解码神经活动。在涵盖视觉、运动和语音解码的 7 种编码器架构测试中,LaS 相比类别标签监督基线将语音解码准确率最高提升 17.15 pp。该表征还支持候选集复用与受试者适应,并在稳态视觉诱发电位(SSVEP)中实现了条件未见频率解码。

  5. arXiv cs.AI40

    GeoSpatialBench:地理空间推理与受限空间编辑评测基准

    研究团队推出基准 GeoSpatialBench,基于 6 座真实城市数据评估 MLLM 在 28 种空间关系下的空间推理与受限编辑能力。评测显示前沿模型处理结构化 GeoJSON 的表现持续优于地图图像,且定性关系表现优于定量度量关系。在受限空间编辑任务中模型表现显著下滑,多数失败编辑均违反了指定的空间几何约束。

  6. arXiv cs.AI34

    基于蒸馏最优传输的少配对样本表征对齐方法

    研究人员提出一种仅需 100 到 500 对样本即可实现单模态编码器对齐的方法。该方案利用少量配对锚点建立统一坐标系,通过解决全量数据的熵正则最优传输问题抵消集聚效应,并将匹配方案蒸馏至两个轻量级编码器以支持归纳推理。实验表明,在相同锚点预算下,该方法在 Flickr30k、MS-COCO 和 ChEBI-20 的图像-文本及分子-文本对齐评测中超越现有方案。

10月10日周六
  1. Cloudflare Blog75

    Cloudflare 发布全模态决策模型 Clef-omni 并升级 Clef 系列

    Cloudflare 正式发布开源权重决策模型 Clef-omni,原生支持文本、图像、音频与视频联合输入,并在 Hugging Face 开源权重。该模型基于 Qwen3-Omni-30B-A3B-Instruct 架构构建,跳过输出 token 生成以实现低延迟直接打分。

    推荐理由:原文给出了决策模型统一处理音视频输入的方法,适合需要精简多模态处理流水线的工程团队参考。

  2. arXiv cs.AI35

    真实社交场景中从起因到后果的认知导向情感追踪

    研究人员提出认知导向情感框架 TRACE 及基准 TRACE-Bench,基于 646 个视频与 3,746 个问答对评估多模态大模型的情感追踪能力。评测发现模型表现显著落后于人类,常将外显行为误判为真实感受并在长链推理中捏造情节。基于该框架提出的结构化推理方法 TRACER,在涵盖因果推理与全链重构等 5 项任务上均超越所有基线模型。

  3. arXiv cs.AI35

    UniData:通用多模态指令生成流水线

    研究人员提出通用多模态指令生成流水线 UniData,可将简单的用户需求转换为多轮多模态指令。该方法结合 any-to-any 大模型生成指令并修正冗余推理流,同时构建了涵盖 9 种模态、共 20,000 条数据的 UniDataset。实验表明 UniData 在数据质量上达到 SOTA 表现,能有效增强其他多模态模型的理解与生成能力。

  4. arXiv cs.AI35

    MedBenchAgent:医疗 VLM 基准构建的系统化自动化框架

    研究人员提出多智能体框架 MedBenchAgent,将医疗 VLM 基准构建表述为受限编译过程,以系统化推导基准规范并生成评测项目。该框架采用基准中间表示(BIR)解耦规划与实例化阶段,取得 90.9% 的 Task-Space F1,抽样的 1,000 个项目中 994 个通过人工审核。该框架已成功迁移至专门医疗领域并评测了 12 个 VLM。

  5. arXiv cs.AI33

    GameCommBench:AI 游戏解说的统一评测基准与类型感知评估框架

    研究者提出了 GameCommBench 评测基准与 TACE 评估框架,旨在统一棋盘游戏、体育和电竞等多模态场景下的 AI 游戏解说评估。TACE 通过类型感知结构化评测不同解说功能,并已通过人类一致性验证。评测代表性 AI 解说员的结果显示其能力分布不均,其中现场实时观察与策略分析是当前的核心瓶颈。