基于信息序策略的马尔可夫决策过程强化学习

研究人员针对连续状态与动作空间下的无限时界平均成本马尔可夫决策过程（MDP），提出了一种利用策略间“信息序”进行反事实推断的分段强化学习算法。对于信息序宽度为 $w$ 的 $d$ 维策略类，该算法实现了 $\widetilde O(H\sqrt{wdT/\alpha})$ 的遗憾界，无需平均成本函数的全局凸性假设。该框架已成功应用于具提前期的销售损失库存系统、双货源系统及状态相关服务率排队模型中。