arXiv cs.AI· Robert Moseley, Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, Salman Asif·· 18 天前AI 评分42
MSP：无需配对跨模态数据训练多模态大语言模型的模态自我博弈框架
MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data
AI 导读
研究人员提出多模态大语言模型训练框架 MSP，通过模态自我博弈摆脱对真实跨模态配对数据的依赖。该方法利用未见模态的代理文本描述作为语义桥梁，使模型仅凭真实锚点模态与代理描述即可实现零样本多模态组合与推理。实验显示，MSP 在多个多模态评测基准上达到 SOTA 或极具竞争力的性能表现。
来源：arXiv cs.AI · arxiv.org