[论文解读] The Atari Grand Challenge Dataset

Vitaly Kurin, Sebastian Nowozin+3 more|arXiv (Cornell University)|May 31, 2017

Reinforcement Learning in Robotics参考文献 24被引用 21

一句话总结

本文介绍了Atari Grand Challenge数据集，这是一个大规模的人类游玩Atari 2600游戏回放集合，涵盖五款游戏，总计约970万帧画面，玩家技能水平多样。研究结果表明，模仿学习性能与演示质量密切相关，高质量的人类数据能显著提升强化学习中的样本效率，并为从人类演示中学习开辟了新的研究方向。

ABSTRACT

Recent progress in Reinforcement Learning (RL), fueled by its combination, with Deep Learning has enabled impressive results in learning to interact with complex virtual environments, yet real-world applications of RL are still scarce. A key limitation is data efficiency, with current state-of-the-art approaches requiring millions of training samples. A promising way to tackle this problem is to augment RL with learning from human demonstrations. However, human demonstration data is not yet readily available. This hinders progress in this direction. The present work addresses this problem as follows. We (i) collect and describe a large dataset of human Atari 2600 replays -- the largest and most diverse such data set publicly released to date, (ii) illustrate an example use of this dataset by analyzing the relation between demonstration quality and imitation learning performance, and (iii) outline possible research directions that are opened up by our work.

研究动机与目标

• 为解决复杂环境中强化学习缺乏公开可用的人类演示数据这一关键问题。
• 收集并发布迄今为止最大、最多样化的Atari 2600游戏回放数据集，以支持模仿学习与人机交互研究。
• 探究演示质量对模仿学习性能的影响，特别是对样本效率的影响。
• 通过提供包含多样化专家与非专家游戏行为的基准数据集，推动样本高效强化学习的研究。
• 概述该数据集所开启的未来研究方向，包括课程学习、逆向强化学习以及帧跳过分析。

提出的方法

• 通过基于网络的平台记录人类在Atari 2600模拟器上的游戏会话，捕获状态、动作与奖励序列，从而收集数据。
• 数据涵盖五款Atari 2600游戏——Breakout、Pong、Q*Bert、Seaquest与Space Invaders，包含不同技能水平玩家的游戏记录。
• 作者采用Hester等人（2017）提出的模仿学习算法，该算法结合深度Q网络、行为克隆与奖励塑造，用于评估数据集上的性能表现。
• 分析了帧跳过系数的影响，利用人类演示数据探究策略学习中的时间抽象机制。
• 数据集经过精心筛选，包含多样化的玩家技能水平，以支持分析技能水平对模仿学习结果的影响。
• 作者发布了数据收集代码，以支持社区贡献与未来数据集扩展，特别是引入职业玩家的数据。

实验结果

研究问题

• RQ1 人类演示数据的质量在Atari 2600环境中如何影响模仿学习性能？
• RQ2 高质量的人类演示是否能显著提升深度强化学习中的样本效率？
• RQ3 多样化的玩家技能水平对模仿学习模型的泛化能力与性能有何影响？
• RQ4 低质量或易出错的人类演示是否仍能为策略学习提供有用信息？
• RQ5 如何利用人类游戏中的帧跳过与时间抽象特性，以提升强化学习中的学习效率？

主要发现

• Atari Grand Challenge数据集包含约970万帧（约45小时）的五款Atari 2600游戏实录，是迄今为止公开发布的最大、最多样化此类数据集。
• 模仿学习性能与演示质量密切相关：即使数据量较小，高技能玩家的演示也能显著提升策略性能，优于低技能玩家。
• 该数据集支持纯强化学习与模仿学习的直接对比，表明人类演示可大幅降低训练的样本复杂度。
• 多样化的玩家技能水平使课程学习策略在模仿学习中的探索成为可能，即从新手到专家数据的逐步过渡可提升训练稳定性和性能。
• 该数据集支持逆向强化学习与帧跳过效应的研究，因为人类游戏数据揭示了可指导策略设计的时间模式。
• 作者计划通过引入职业玩家数据扩展数据集，预计将进一步提升模仿学习性能与样本效率。