arXiv cs.AI· Yuanzhe Liu, Bastian Lipka, Avraham Shinnar, Jatin Ganhotra, Yao Ma, Martin Hirzel·· 15 天前AI 评分40
在剧透与盲猜之间：避免代码评测基准中的过度指定
Between Spoilers and Guesswork: Avoiding Over-Specification in Coding Benchmarks
AI 导读
代码评测基准若将真值信息引入任务描述容易引发过度指定，导致模型绕过原本待测的核心步骤。研究表明 SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 均存在此类真值泄露问题。团队通过不同规格级别的实验提出了提取简约提示的方案，并开源相关代码与提示以提供更可靠的评测信号。
来源：arXiv cs.AI · arxiv.org