跳到正文
原文
arXiv cs.AI· William Huang, David Li, Xiang 'Anthony' Chen, Xun Qian, Nels Numan, Zhongyi Zhou, Hyunsung Cho, Salman Muin Kayser Chishti, Ding Xia, Xincheng Huang, Jiahao Ren, Faraz Faruqi, Tianyu Xu, Yang Zhang, David Kim, Ruofei Du·· 11 天前AI 评分40

GenXR-Bench:评测用于交互式 XR 开发的代码智能体

GenXR-Bench: Benchmarking Coding Agents for Interactive XR Development

AI 导读

研究人员推出首个用于端到端评测 XR 软件开发代码智能体的基准 GenXR-Bench。该基准包含 112 个专家编写的任务,涵盖 24 项功能实现、21 个缺陷修复和 67 项应用生成任务,其测试套件在消费级 XR 硬件上的盲测专家判定中达到 96.5% 的准确率。在 10 个模型的评测中,最强配置的整体 Pass@1 仅为 50.9%,暴露了智能体在传感器生命周期与空间交互语义上的不足。

来源:arXiv cs.AI · arxiv.org