基准饱和后的模型能力评估方法

研究表明在基准测试分数饱和后，大模型正确解答任务的完整记录（transcripts）仍保留着超越准确率的能力信息。在评估的提取方法中，成对评审（pairwise judging）表现最佳，相比仅使用饱和分数的基线将预测误差降低了 5.3 倍，相关信号主要集中在推理和工具调用等环节。不过该预测能力在面临分布偏移时泛化受限，例如会低估 2025 年初推出的首批 reasoning model 的能力。