可视化 AI 智能体价值函数中的世界模型

研究人员通过反事实干预方法探究了无模型强化学习算法是否会在其价值函数中形成环境的世界模型。在 Crafter 环境下的 Proximal Policy Optimization 智能体实验表明，尽管仅以优化奖励为目标进行训练，其价值函数依然学会了钻石收集规则、水和食物对健康的影响以及物品清单启发式规则等概念。该研究同时探讨了相关可视化对 AI 安全的启示及当前强化学习智能体的局限。