arXiv quant-ph· Ethan Seefried, Romit Ghosh, Sharmin Afrose, Nicholas Stapleton, Vicente Layton Ortega, Travis Humble, Tirthankar Ghosal·· 12 天前AI 评分37
量子代码生成 LLM 评测审计：基准缺陷与评估偏差调查
Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation
AI 导读
新研究对 5 个量子代码生成测试集及自建的 QBE 基准展开审计，揭示现有大语言模型量子评测存在严重的评估器设计偏差与测试缺陷。仅改变评估器规则，GPT-6 Astra 在模型输出完全一致的前提下，QBE pass@1 便从 0% 骤增至 94.1%，同时 QuanBench-117 等基准被证实存在测试泄漏与未执行用例。研究团队已开源评测框架与审计产物。
来源：arXiv quant-ph · arxiv.org