[论文解读] Playing Atari Games with Deep Reinforcement Learning and Human Checkpoint Replay

Ionel-Alexandru Hosu, Traian Rebedea|arXiv (Cornell University)|Jul 18, 2016

Reinforcement Learning in Robotics参考文献 18被引用 76

一句话总结

本文提出人类检查点重放（HCR），一种深度强化学习方法，通过使用人类游玩的游戏状态作为起点，提升稀疏奖励Atari游戏中的探索能力。通过从人类生成的检查点初始化训练，HCR DQN智能体在Montezuma’s Revenge和Private Eye等高难度游戏中取得显著更高的得分，性能超过随机智能体的两倍以上。

ABSTRACT

This paper introduces a novel method for learning how to play the most difficult Atari 2600 games from the Arcade Learning Environment using deep reinforcement learning. The proposed method, human checkpoint replay, consists in using checkpoints sampled from human gameplay as starting points for the learning process. This is meant to compensate for the difficulties of current exploration strategies, such as epsilon-greedy, to find successful control policies in games with sparse rewards. Like other deep reinforcement learning architectures, our model uses a convolutional neural network that receives only raw pixel inputs to estimate the state value function. We tested our method on Montezuma's Revenge and Private Eye, two of the most challenging games from the Atari platform. The results we obtained show a substantial improvement compared to previous learning approaches, as well as over a random player. We also propose a method for training deep reinforcement learning agents using human gameplay experience, which we call human experience replay.

研究动机与目标

• 解决Atari 2600游戏中稀疏奖励带来的挑战，其中标准探索策略（如ε-greedy）无法发现有效策略。
• 提升在Montezuma’s Revenge和Private Eye等高度困难游戏中的样本效率与学习性能，这些游戏此前的深度强化学习方法均未能解决。
• 探究人类生成的起始状态是否可作为课程学习的一种形式，以加速训练与策略发现。
• 评估人类检查点重放与人类经验重放相比，在延迟或稀疏奖励环境中是否更有效促进智能体学习。

提出的方法

• 使用人类游玩的游戏状态（检查点）作为深度Q网络（DQN）训练的初始状态，使智能体能够从非随机、潜在有效的位置开始训练。
• 使用原始像素输入（四帧连续图像）训练卷积神经网络，通过经验回放的深度Q学习方法估计状态值函数。
• 通过从人类游戏轨迹中采样检查点，并将其用作训练回合的起始点，实现人类检查点重放（HCR）。
• 将HCR与人类经验重放（HER）进行对比，后者使用人类轨迹扩充经验回放缓冲区，但不将其作为初始状态。
• 采用人类起始点评估指标，即从固定的人类生成起始状态对智能体进行评估，以确保公平比较。
• 以Arcade Learning Environment（ALE）为基准平台，选择Montezuma’s Revenge和Private Eye作为测试游戏，因其具有稀疏奖励结构和高难度特征。

实验结果

研究问题

• RQ1 人类生成的游戏状态是否能显著提升深度强化学习智能体在稀疏奖励Atari游戏中的学习效率与性能？
• RQ2 与随机初始化和人类经验重放相比，人类检查点重放在样本效率与最终性能方面表现如何？
• RQ3 在奖励延迟且稀疏的游戏（如Montezuma’s Revenge和Private Eye）中，人类检查点在多大程度上可减轻探索负担？
• RQ4 通过检查点间接利用人类知识，是否能带来优于纯粹内在探索策略的策略发现效果？

主要发现

• 在Montezuma’s Revenge中，HCR DQN智能体取得379.1分的得分，超过随机智能体177.1分的两倍以上，表现显著提升。
• 在Private Eye中，HCR DQN智能体获得1264.4分，而随机智能体得分为–41分，表明HCR使智能体在随机智能体完全失败的游戏中实现了学习。
• 在Montezuma’s Revenge中，人类经验重放（HER）仅比随机智能体提升微弱（218分），表明原始人类轨迹数据本身在稀疏奖励环境中不足以实现有效学习。
• HCR DQN智能体在两款游戏中均成功收集了附近的奖励，并避免了危险物体，相比随机智能体展现出更优的探索行为。
• 尽管使用了人类检查点，该智能体仍难以避免Montezuma’s Revenge中如失去生命等负奖励事件，表明缺乏显式奖励塑造限制了策略的进一步优化。
• 结果表明，人类检查点重放是克服稀疏奖励环境中探索挑战的有前景方法，尤其在结合课程学习原则时。