arXiv cs.AI· Dohyun Kim, Junyong Lhim, Kwanyong Park·· 11 小时前AI 评分35
评估视觉语言模型多模态个性化推理的系统基准 MPRBench
A Systematic Benchmark for Evaluating Multimodal Personalized Reasoning of Vision-Language Models
AI 导读
研究团队推出评测基准 MPRBench，用于系统评估多模态大语言模型跨异构个人信息的多模态个性化推理能力。该基准涵盖 12 个子任务，并支持对代表性错误案例进行可解释性分析。实验表明现有模型在个性化推理上面临个性化概念识别不准及对无关个人信息敏感等挑战，目前相关代码与数据已开源。
来源：arXiv cs.AI · arxiv.org