时序差分学习自适应不完全覆盖：子图上的预言机不等式

普通时序差分（TD）学习在表格型设定下无需预先选择子图或满足全局覆盖，即可自动融合 TD 的渐近效率与蒙特卡洛（MC）对局部访问的要求。论文提出了连接两者的子图 Bellman 方差，并证明全 TD 的均方误差被任意包含目标且充分覆盖的子图方差除以样本量所界定。有限样本极小极大下界与实验进一步表明，罕见状态被充分观测前无法达到渐近方差。