自归一化 KL 散度估计的通用界限研究

该研究证明了基于归一化重要性权重的 KL 散度熵估计器具有通用有限样本界，其期望在任意样本量下超出目标与提议分布 KL 散度的幅度最多为 log 2。该界限既不要求重要性权重有界，也不需要有限高阶矩。研究已将成果应用于基于 Soft Best-of-N 采样的生成模型测试期对齐，以及相对熵编码领域。