arXiv cs.AI· Siyang Wu, Weizhi Zhang, Chen Yang, Esther Xu Fei, Jorin Overwiening, Xu Pan, Jing Tang, Yixuan He, Kelvin C. Mo, Peiwen Li, Defu Cao, Xu Hu, Haixin Wang, Taoran Li, Haoming Li, Zheyuan Deng, Jingwen Zhang, Pengsong Zhang, Haichao Zhang, Guangze Luo, Yi Daniel Lu, Zihuai He, Chenxi Qiu, Dianzhuo Wang, Zhejian Peng, Shushu Liang, Wenyi Lu, Yifan Wang, Jintao Huang, Yijun Wang, Xiaomin Li, Yuexing Hao·· 8 天前AI 评分36
PersonaScienceBench：通过多样化模拟研究人员评估科学 AI 智能体
PersonaScienceBench: Evaluating Scientific Agents with Diverse Simulated Researchers
AI 导读
PersonaScienceBench 基准测试正式推出，通过多样化的模拟研究人员评估科学 AI 智能体与人类的协作能力。该基准涵盖 4 个科学领域共 200 项任务，模拟研究人员按画像提供上下文与反馈，智能体仅能通过对话感知其偏好。测试覆盖 18 种模型配置并重点分析了 GPT 6 Astra，揭示出不同智能体在任务表现、事实恢复和工作流修正上的行为差异。
来源：arXiv cs.AI · arxiv.org