arXiv cs.LG· Shixuan Liu, Cheng Tang, Yuzheng Hu, Fan Wu, Han Zhao, Jiaqi W. Ma·· 12 天前AI 评分39
RL-IF：追踪在线强化学习中的非局部训练数据影响
RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning
AI 导读
研究提出了 RL-IF 框架，通过形式化轨迹级留一指标 RL-LOO，解决在线强化学习中跨多轮训练的非局部数据影响追踪问题。该方法将数据影响分解为优化效应与策略采样效应，并据此构建了实用的数据过滤方法 RINSE。在标准控制基准和 RLHF 毒性缓解实验中，RINSE 的训练效率和最终性能均优于标准 PPO 与局部归因基线。
来源：arXiv cs.LG · arxiv.org