无折扣互模拟度量的博弈论基础

该研究为强化学习无折扣设置建立了互模拟度量的统一博弈论基础，将度量算子解释为零和博弈的 Bellman-Shapley 算子，在 $\gamma=1$ 时实现了唯一定义。该框架不仅刻画了度量有限性与 MDP 结构的关系并导出弱通信 MDP 下的有向度量，还证明其能界定总奖励与相对价值差，为聚合规划提供了误差与次优性保证。