arXiv cs.LG· Jingyi Jin, Martha White, Hao Wang·· 2 小时前AI 评分27
论带正则化修正与资格迹的梯度时序差分学习收敛性
On Convergence of Gradient Temporal-Difference Learning with Regularized Corrections and Eligibility Traces
AI 导读
该研究建立了受限 TDRC($\lambda$) 在递减步长与非独立同分布 off-policy 数据下的收敛性理论，并提出降低大 Bellman 误差敏感度的 TDRC($\lambda$)-Huber 算法。研究采用基于 ODE 的弱收敛分析方法，给出了保证目标平衡点唯一性与全局渐近稳定性的积分小增益条件。分析表明，当平均 TD 矩阵正稳定时，两类受限算法在充分正则化下无需正定性即可收敛。
来源：arXiv cs.LG · arxiv.org