arXiv cs.AI· Yiran Huang, Zeyong Zhang, Bharat Biswal, Xin Di, Mengjia Xu·· 15 天前AI 评分34
面向动画电影社交与情绪理解的大脑对齐多模态 LLM 研究
Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
AI 导读
研究对比了基于扩散模型与自回归的多模态 LLM 与人类在三部动画短片中的心智理论(ToM)及情绪效价连续评分,并用于预测区域 fMRI 脑响应。结果显示模型能捕捉人类评分的时间变化,在效价上的对齐度普遍高于 ToM,且两者脑激活空间重叠主要分布在视觉、背侧注意及后默认模式网络区域。这证实了多模态 LLM 可作为生成具备大脑预测性社交情绪标注的可扩展工具。
来源:arXiv cs.AI · arxiv.org