SGD 方法的精确信息核算

新研究提出针对 SGD 及其变体的精确信息论分析，证明预条件 SGD 步对应高斯贝叶斯模型的后验均值更新，其单步 regret 可精确分解为内在时间成本与比较器信息变化。该恒等式统一涵盖了凸收敛、鞍点逃逸、平坦度与泛化关联及自适应优化器，并在真实网络实验中成功区分出达到相同训练损失的不同优化器。