Scaling Law 估计中的罗生门效应与拟合挑战

神经网络 Scaling Law 的常规拟合存在罗生门效应，即截然不同的参数设置虽然在既有数据上拟合度接近，但在大规模外推时预测结果会出现实质性分歧。研究提出了一种确定性分支定界算法，不仅能保证获得近最优的拟合损失，还能穷举映射出所有近似最优解所对应的完整缩放曲线范围。