arXiv cs.LG· Ke Jiang, Wen Jiang, Yoshinobu Kawahara, Xiaoyang Tan·· 12 天前AI 评分35
面向基于流的离线强化学习的价值校正蒸馏（VRD）
Value-Rectified Distillation for Flow-based Offline Reinforcement Learning
AI 导读
研究者提出价值校正蒸馏（VRD）框架，解决了离线强化学习中蒸馏流匹配行为策略导致的分布外（OOD）模态平均问题。VRD 将策略蒸馏重构为价值引导的生成轨迹对齐，并具体实现为 VRD-Q 与 VRD-R 两种互补算法来隔离高价值动作。在 D4RL、OGBench 和 Minari 基准测试中，该方法在多模态及非专家数据集上的表现显著超越现有生成式基线。
来源：arXiv cs.LG · arxiv.org