策略梯度真的是梯度吗？

研究证明，强化学习中省略外部折扣因子的按回合求和同策略更新，并不一定等同于任何函数的梯度。研究人员还构造了反例，表明精确的期望更新会导致参数发散，并将策略推向在带折扣与不带折扣目标下均全局最差的确定性极限。调研进一步指出学术界对折扣策略梯度方法存在普遍误解，相关错误甚至广泛存在于顶会高引论文中。