掩码 MDP 的自白：结合动作掩码学习与最优策略搜索

针对强化学习中动作掩码计算瓶颈问题，研究者在线性 MDP 模型下探索了将最优策略搜索与动作掩码本身的学习相结合的方法。该框架首先提出基于确定性乐观优化的算法并证明其达 minimax 最优且计算高效，但其在非退化实例上表现次优。研究随后提出一种通过规划探索策略的替代高效算法，可视为确定性反馈下的信息导向采样类似物，并将其应用于无效动作集随时间变化的迁移学习场景。