深度神经网络重尾权重谱为何能预测模型质量

针对深度神经网络（DNN）重尾权重谱能预测模型质量却缺乏统计原理解释的问题，研究人员从统计学视角构建概率框架，仅基于最后一层权重推导 DNN 的边际似然。实验证实该边际似然在大规模卷积 DNN 与 LLM 上均可预测模型质量。通过推导服从高温 Marchenko-Pastur 分布谱的极限对数边际似然，研究证明该极限关于重尾参数呈凸性，并导出了能经验性预测模型过拟合的最佳重尾程度。