跳到正文
原文
arXiv cs.AI· Yiran Huang, Zeyong Zhang, Bharat Biswal, Xin Di, Mengjia Xu·· 15 天前AI 评分34

面向动画电影社交与情绪理解的大脑对齐多模态 LLM 研究

Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies

AI 导读

研究对比了基于扩散模型与自回归的多模态 LLM 与人类在三部动画短片中的心智理论(ToM)及情绪效价连续评分,并用于预测区域 fMRI 脑响应。结果显示模型能捕捉人类评分的时间变化,在效价上的对齐度普遍高于 ToM,且两者脑激活空间重叠主要分布在视觉、背侧注意及后默认模式网络区域。这证实了多模态 LLM 可作为生成具备大脑预测性社交情绪标注的可扩展工具。

来源:arXiv cs.AI · arxiv.org