利用势函数估计自回归语言模型下的期望值

研究人员提出一种利用势函数（potentials）提升自回归语言模型期望值估计效率的方法，通过利用采样副产物即下一 token 条件概率来加性分解测试泛函。该方法构建的估计量方差取决于所选势函数，并给出了降低方差的理论条件。针对多种被估计量和实际应用设计的势函数，在相当的计算成本下实现了方差的大幅降低。