arXiv cs.LG· Chaorui Yao, Yuming Paul Zhang, Lin Yang, Yuhua Zhu·· 12 天前AI 评分27
基于离散时间 Off-Policy 数据且具端到端保证的无模型连续时间强化学习算法
A Model-Free Continuous-Time RL Algorithm from Discrete-Time Off-Policy Data with End-to-End Guarantees
AI 导读
研究提出无模型 PhiBE 策略迭代（PhiBE-PI）框架，利用固定的离散时间 off-policy 数据批次实现连续时间强化学习，且无需显式估计漂移或扩散项。该框架使用单一状态-动作 Critic 保持动作排序尺度，并在复用数据与线性函数近似下建立了局部端到端次优度理论保证。研究还揭示了偏差-方差权衡，表明更细的时间离散化并不必然提升策略性能。
来源：arXiv cs.LG · arxiv.org