arXiv cs.LG· Pan Wang, Lipeng Ke, Huajun Ying, Pritish Mohapatra, Rohan Sarkar, Suresh Lakhani, Sankar Venkataraman, Jingtong Hu·· 7 天前AI 评分34
ConsMSA:面向多模态情感分析的语义分布一致性学习
ConsMSA: Semantic Distribution Consistency Learning for Multimodal Sentiment Analysis
AI 导读
针对跨模态信号中的语义冗余与冲突,研究人员提出多模态情感分析框架 ConsMSA,显式建模模态内与模态间的语义分布一致性。该方法通过计算模态内与模态间一致性得分(I²CS)并结合预测相关性,实现表征对齐正则化、自适应 token 重加权与冗余 token 剪枝。
来源:arXiv cs.LG · arxiv.org