Q-MMR：基于递归重加权与矩匹配的离线策略评估

研究提出面向有限时域 MDP 离线策略评估的新理论框架 Q-MMR，通过值函数判别器类的矩匹配目标自顶向下学习数据标量权重，以重加权奖励逼近目标策略的期望回报。该框架仅需 $Q^\pi$ 的可实现性假设，即可为通用函数逼近建立误差不依赖函数类复杂度的无维度有限样本保证。论文还建立了其与重要性采样及线性 FQE 的理论联系，并深化了对离线强化学习中 coverage 概念的分析。