无需 TD 学习的强化学习

研究人员提出一种基于分治法（divide and conquer）的离线策略强化学习方法，无需依赖传统时序差分（TD）学习即可扩展至长视距任务。该方法将轨迹划分为等长片段并通过组合局部价值进行更新，理论上能将 Bellman 递归次数降至对数级，从根本上缓解了误差累积难题。团队已将该机制应用于目标条件强化学习（goal-conditioned RL），成功实现了向复杂任务的有效扩展。