[论文解读] State of the Art Control of Atari Games Using Shallow Reinforcement Learning

Yitao Liang, Marlos C. Machado+2 more|arXiv (Cornell University)|Dec 4, 2015

Reinforcement Learning in Robotics参考文献 24被引用 34

一句话总结

本文研究了促使深度Q网络（DQN）在雅典娜学习环境（ALE）中实现最先进性能的核心表征偏差。通过系统评估编码空间不变性、帧堆叠和局部模式检测的简单线性特征——这些是DQN的关键架构偏差——本研究表明，一种固定且通用的特征表示可在49款雅典娜游戏上达到与DQN相当的性能，显著减少了对每款游戏特定的表征学习需求。

ABSTRACT

The recently introduced Deep Q-Networks (DQN) algorithm has gained attention as one of the first successful combinations of deep neural networks and reinforcement learning. Its promise was demonstrated in the Arcade Learning Environment (ALE), a challenging framework composed of dozens of Atari 2600 games used to evaluate general competency in AI. It achieved dramatically better results than earlier approaches, showing that its ability to learn good representations is quite robust and general. This paper attempts to understand the principles that underlie DQN's impressive performance and to better contextualize its success. We systematically evaluate the importance of key representational biases encoded by DQN's network by proposing simple linear representations that make use of these concepts. Incorporating these characteristics, we obtain a computationally practical feature set that achieves competitive performance to DQN in the ALE. Besides offering insight into the strengths and weaknesses of DQN, we provide a generic representation for the ALE, significantly reducing the burden of learning a representation for each game. Moreover, we also provide a simple, reproducible benchmark for the sake of comparison to future work in the ALE.

研究动机与目标

• 理解DQN在雅典娜学习环境（ALE）中取得成功的基本原理，超越“深度神经网络对强性能必不可少”的假设。
• 通过隔离并受控地测试，评估DQN中关键架构偏差（空间不变性、通过帧堆叠实现的时间建模、局部模式检测）的贡献。
• 为ALE开发一种计算效率高、通用的特征表示，其性能可与DQN相媲美，从而减轻每款游戏的表征学习负担。
• 通过使用一致的评估协议和多次试验，为未来ALE研究提供可复现的基准，解决以往DQN评估中的可复现性问题。
• 通过与具有受控归纳偏差的简单线性基线进行比较，将DQN的性能置于上下文中，明确哪些组件对成功至关重要。

提出的方法

• 提出一种简单的线性表示作为基线，使用原始像素值，不进行任何非线性变换。
• 逐步引入DQN中的三种关键表征偏差：(1) 通过最大池化实现的空间不变性，(2) 通过堆叠多个连续帧实现的时间建模，(3) 通过小感受野（如8×8卷积核）实现的局部模式检测。
• 使用构建的线性特征，采用标准Q-learning算法进行函数逼近，训练过程中使用经验回放和目标网络以稳定学习。
• 使用每款游戏5个独立随机种子，在49款雅典娜2600游戏上评估性能，确保统计稳健性和可复现性。
• 通过中位数人类归一化得分和统计显著性检验，将每个特征变体的性能与DQN和基线线性模型进行比较。
• 在整个游戏中使用固定且通用的特征集，避免针对特定游戏的工程设计，并验证其泛化能力。

实验结果

研究问题

• RQ1 DQN的架构偏差——空间不变性、通过帧堆叠实现的时间建模、局部模式检测——在独立于深度非线性表征的情况下，对ALE中性能的贡献程度如何？
• RQ2 是否可以使用一种简单、固定、通用的线性特征表示，在无需每款游戏特定表征工程的情况下，实现在多样化雅典娜游戏中的性能与DQN相媲美？
• RQ3 DQN表征的各个独立组件（如帧堆叠、池化）对性能提升的贡献如何逐步体现？
• RQ4 DQN的成功主要归因于其深度神经网络架构，还是其网络结构的归纳偏差更为关键？
• RQ5 能否为ALE评估建立一个可复现、标准化的基准，以实现未来方法之间公平且一致的比较？

主要发现

• 仅引入帧堆叠（多帧输入）便带来显著性能提升，与原始像素基线相比，49款游戏的中位数人类归一化得分从12.5%提升至50.0%。
• 通过最大池化引入空间不变性后，性能进一步提升，中位数得分达到68.8%，在49款游戏中的35款上达到与DQN相当的性能。
• 通过小感受野（如8×8卷积核）引入局部模式检测后，最终的特征集在49款游戏中的24款上达到或超过DQN的性能，中位数得分为68.8%。
• 最终的通用线性特征集在多种游戏类型（包括第一人称射击、平台跳跃和体育类游戏）中均表现出色，展现出强大的泛化能力。
• 所提出的方法使用简单、固定、非深度的表征，实现了与DQN相当的性能，表明DQN的架构归纳偏差比非线性特征学习本身更为关键。
• 本研究证明，DQN的成功并非仅源于深度表征学习，而是显著得益于其架构设计选择，这些选择可被更简单的线性模型所捕捉。