重新审视奖励优化的缩放定律

最新研究提出了 AI 对齐中奖励优化的联合缩放定律，证明模型性能与偏好训练数据量 M 及 KL 散度预算 K 呈 $\Theta(\sqrt{\min\{\log(M),K\}})$ 缩放关系。在 70B gold 奖励模型生成数据与 0.6B 至 4B 代理模型的实验中，该定律拟合度 $R^2$ 达 97% 至 99%，在 Best-of-N 与 policy tilting 优化下均保持稳健。