从 POMDP 理论到结合粒子滤波的深度强化学习

研究者提出了一种实用的端到端 POMDP 算法，利用序贯蒙特卡洛（SMC）近似求解隐状态滤波、在线更新潜动力学模型，并执行基于 QMDP 近似的 d 步在线规划与状态价值 critic 自举。理论上证明了端到端遗憾界，将其分解为模型估计、粒子滤波、蒙特卡洛展开及规划深度可控的结构偏差等误差项。该算法在基于 MPC 的深度强化学习框架中实现，并在多种环境下验证了实用性。