arXiv cs.AI· Laura Yao, Shixing Yu, Jie Peng, Promit Ghosal, Kyra Gan, Tianlong Chen·· 19 天前AI 评分36
MOSAIC：面向视觉语言模型的 patch 级训练样本归因方法
Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models
AI 导读
研究人员提出 MOSAIC 方法，通过学习共享的稀疏图文潜在空间，实现视觉语言模型（VLM）在图像区域与文本短语层面的细粒度训练样本归因。该方法结合 EK-FAC 将样本影响分解到具体概念并定位其贡献，已在 Qwen 与 Gemma 上完成图像描述、胸部 X 光理解和视觉问答评测。实验表明消融影响度排序的潜在特征比基于激活或频率的基准更能改变模型输出。
来源：arXiv cs.AI · arxiv.org