arXiv cs.AI· Shiqi Zhang, Weixin Zeng, Ziheng Zhang, Jiuyang Tang, Xiang Zhao·· 19 天前AI 评分35
多模态基准真的有用吗？基于结构-响应协同校准的题目级基准诊断框架 SRCoD
Are Multimodal Benchmarks Really Useful? Item-Level Multimodal Benchmark Diagnosis via Structure-Response Co-Calibration
AI 导读
研究者提出多模态基准诊断框架 SRCoD，通过结合题目结构与模型响应行为进行协同校准，实现对评测题目模态依赖性的细粒度诊断。该框架利用基准内容的信息结构作为软锚点建模条件响应，生成校准后的题目诊断画像并提供可解释归因。实验表明，SRCoD 在基准优化与人工标注验证下均优于现有基准诊断方法。
来源：arXiv cs.AI · arxiv.org