压缩语言模型中散度如何转化为决策翻转

研究发现全变差（Total Variation）而非 KL 散度能直接对应压缩语言模型的决策翻转率，在 19 个开源模型的 802 个测试副本中二者比值中位数达 1.05。当模型间翻转率差异达 10% 以上时，KL 散度判断失准的概率为 11%，而全变差仅为 1%。在 vLLM 推测解码中，全变差无需特定任务校准即可预测贪婪草稿接受率，平均相对误差仅 1.1%–2.4%。