arXiv cs.LG· Giovanni Minelli, Giulio Turrisi, Lorenzo Amatucci, Victor Barasuol, Claudio Semini·· 4 天前AI 评分34
基于相对动作信用学习跳出强化学习局部极小值
Learning from Relative Action Credit for Escaping Local Minima
AI 导读
研究提出一种通过动作条件价值 critic 扩展 PPO 的方法，通过对比同状态下的备选动作进行相对动作信用分配，以帮助强化学习策略跳出局部极小值。该方法结合广义优势估计（GAE）与探索噪声边界，解决了状态价值 critic 缺乏动作区分度导致的策略停滞问题。在相同的训练预算与探索设置下，扩展算法成功完成了精密插孔（peg insertion）任务，而标准 PPO 则训练失败。
来源：arXiv cs.LG · arxiv.org