arXiv cs.AI· Gabriella Bollici, Stefano De Giorgis, Wouter Van Atteveldt, Filip Ilievski·· 7 天前AI 评分36
IRON-Meme：网络模因叙事中身份与角色结构化理解基准
IRON-Meme: A Benchmark for Structured Understanding of Identities and Roles in Online Meme Narratives
AI 导读
研究人员推出 IRON-Meme，这是一个用于结构化理解网络模因叙事中身份与角色的人工标注评测基准，包含 1,110 个政治模因。对 9 款视觉语言模型的评估显示，前沿规模模型与推理模型表现最佳，但在低频标签上的准确率有所下降。研究还发现引入模板背景知识未能提升叙事角色分类效果，该基准与代码已公开。
来源：arXiv cs.AI · arxiv.org