机器学习中的数值近似：多准才算足够准？

一项新研究提出通过学习目标本身来评估数值近似精度，揭示相同大小的原始误差在不同学习状态下会对损失、预测和梯度产生截然不同的影响。该研究针对 softmax 交叉熵建立了从原始误差传导至损失、预测及特征梯度的有限误差保证，可反求出给定要求下的可验证数值容差；高维 von Mises-Fisher 实验显示不同状态的容差可相差数个数量级。