从对决多臂老虎机到情节式 MDP：对抗偏好反馈下的学习

该研究提出了基于状态偏好的情节式 MDP 框架，证明在对抗偏好与已知转移下，其极小极大遗憾界为 $\tilde{\Theta}(\min\{HT,(H^3SK)^{1/3}T^{2/3}\})$。这一界限由占用度量在线线性优化算法达成，且状态转移机制使 $T^{2/3}$ 遗憾项增加了 $H^{1/3}$ 因子的代价。论文还提出了具有闭式更新的策略优化算法，并将两者均扩展至未知转移场景。