arXiv cs.AI· Haixin Wang, Jianheng Hou, Hongyu Shen, Wenzhe Fan, Wei-Chieh Huang, Qianyu Zhu, Weichen Li, Taoran Li, Yuhang Yao, Ruohan Wang, Zhejian Peng, Wanting Jiang, Yifan Chen, Shushu Liang, Haoming Li, Defu Cao, Xu Hu, Siyang Wu, Chen Yang, Haodi Hu, Haichao Zhang, Cong Wang, Zhiyuan Yu, Weizhi Zhang, Yifan Wang, Jintao Huang, Yizhou Sun, Yijun Wang, Yuexing Hao, Xiaomin Li·· 11 小时前AI 评分41
PersonaCodeBench：在人设驱动的人机交互中评估代码智能体
PersonaCodeBench: Evaluating Coding Agents in Persona-driven Human-Interactive Sessions
AI 导读
研究人员推出评测基准 PersonaCodeBench，用于在人设驱动的多轮交互会话中评估代码智能体满足个性化需求的能力。该基准将用户角色、技术水平和偏好约束转化为可验证义务，借助运行时控制器与双重验证器分别评估代码正确性及个性化达成度。团队已对主流前沿智能体完成评测并建立了综合排行榜。
来源：arXiv cs.AI · arxiv.org