arXiv cs.AI· Fengji Jing, Guy Laban·· 1 天前AI 评分35
音频大语言模型多模态语音情感识别的不一致感知评估
Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models
AI 导读
最新研究针对音频大语言模型提出多模态不一致性评分方法，发现在语音情感识别中，文本与音频表达的不一致会显著增加模型的识别错误率。在 eNTERFACE'05、MELD 和 CMU-MOSEI 三个语料库对 3 个模型的评测显示，只要存在音频输入，模态冲突就会在所有语料库中推高出错几率。目前该研究的代码、数据表与提示词均已开源。
来源：arXiv cs.AI · arxiv.org