条件独立性检验中的 Embedding 偏差

研究表明在文本或图像条件独立性检验中以 Embedding 替代原始输入会引入偏误，严重时会导致原假设下的拒绝概率趋近于 1。该偏误被证明等于遗漏信息绝对相关性与两个偏 $R^2$ 几何均值的乘积，研究据此提出了带容差参数的鲁棒检验方法。在语言模型生成的文本实验中，即便采用生成器自身状态作为 Embedding 依然会导致检验偏差。