arXiv stat.ML· Lars van der Laan, Vasilis Syrgkanis, Nathan Kallus·· 7 天前AI 评分31
基于成对贝尔曼验证的离线策略评估模型选择
Model Selection for Off-Policy Evaluation via Pairwise Bellman Validation
AI 导读
研究者提出成对贝尔曼验证（PBV），这是一种用于离线策略评估（OPE）模型选择的无调参极小极大方法，可直接利用留出样本在候选 Q 函数和占用比估计器中进行筛选。该方法通过候选模型成对差值构建 critic，仅需有限次经验矩计算，无需额外辅助模型或单独优化 critic，并具备有限样本 oracle 保证。在 Hopper 与 Deep OPE 基准上，PBV 表现出了具有竞争力的性能。
来源：arXiv stat.ML · arxiv.org