消除对抗性 MDP 策略优化中的时界差距

针对带对抗损失与老虎机反馈的在线片段式表格 MDP，新研究利用正则化 Q 函数联合控制局部更新稳定性，消除了策略优化方法相比占用测度算法多出的时界 H 差距。该算法在已知转移下取得 $\widetilde O(\sqrt{HS(H+A)T})$ 的高概率遗憾界，未知转移下达到 $\widetilde O(HS\sqrt{AT})$ 并匹配已知最佳界。