SOL：基于双切片 Wasserstein 度量衡量文本分布差距

研究人员提出文本分布距离度量 SOL，利用双切片 Wasserstein 距离比较 Transformer 隐藏状态测度，以衡量文本生成分布质量。在 Transformer 满足单射时该指标构成严格度量，专为填补扩散与流模型等非自回归语言模型的评估空白而设计。实验表明 SOL 可有效检测分布失效并提供稳定估计，已用于重新评估在 OpenWebText 上训练的多种模型。