arXiv cs.AI· Ziyang Xu, Haitian Zhong, Hao Zhou, Hao Qin, Chenhan Jin, Te Qi, Shengze Xu, Tieyong Zeng·· 2026-09-30AI 评分42
更多程序还是更多次运行？区分 LLM Harness 中的覆盖度与专业化
More Programs or More Rolls? Separating Coverage from Specialization in LLM Harnesses
AI 导读
一项针对自动生成 LLM harness 的受控研究发现，生成程序的可重复得分模式主要体现为持久缺陷，难以证明其具备真正的任务专业化优势。在 386 个 MATH-500 任务中，生成程序相比基线在 100 个任务上持续落后，仅在 1 个任务上持续胜出。在 27 次 harness 执行下两组 oracle 覆盖率均达到 98.70%，冻结选择器增益仅为 0.00 个百分点。
来源：arXiv cs.AI · arxiv.org