arXiv cs.AI· Xinping Wang, Jie Ma, Rui Xing, Wensong Guo, Xiayi Zhang, Jianhao Deng, Zihao Zhou, Boqian Yang, Feijuan He·· 13 天前AI 评分38
MAMath-Bench：多模态多智能体数学推理的过程感知与鲁棒性评测基准
MAMath-Bench: Process-Aware and Robust Evaluation of Multimodal Multi-Agent Mathematical Reasoning
AI 导读
研究者推出多模态多智能体数学推理评测基准 MAMath-Bench，包含涵盖 11 个数学类别以及文本、图像、音频等模态的 1,003 道题目。该基准通过细粒度里程碑标注，从解题正确性、推理过程可靠性及对抗扰动鲁棒性三个维度展开评估。评测发现多智能体协作相比强单模型并未持续提高最终答案准确率，且当前系统面对对抗性推理错误仍较脆弱；数据集已开放获取。
来源：arXiv cs.AI · arxiv.org