奥卡姆剃刀的锋利程度取决于 ELBO：变分推断中的协方差假设如何影响模型选择

研究表明基于 ELBO 的超参数学习会因高斯近似后验中的协方差矩阵结构而低估或高估信噪比（SNR）。假设对角或低秩加对角协方差矩阵会低估 SNR 并导致训练集欠拟合，而低秩协方差矩阵则会高估 SNR 并导致过拟合。研究提示贝叶斯学者在扩展至大模型时，需警惕为易处理性所作的协方差假设对模型选择的影响。