[论文解读] Playing Atari with Six Neurons

Giuseppe Cuccu, Julian Togelius+1 more|arXiv (Cornell University)|Jun 4, 2018

Reinforcement Learning in Robotics参考文献 30被引用 15

一句话总结

本文提出了一种新颖的方法，将深度强化学习中的特征提取与策略学习解耦，利用两种新算法——递增字典向量量化（IDVQ）和直接残差稀疏编码（DRSC）——从原始Atari游戏画面中生成紧凑且信息丰富的表征。仅含6至18个神经元的微型神经网络在多个Atari游戏中实现了最先进性能，其参数量比标准深度强化学习方法少两个数量级。

ABSTRACT

Deep reinforcement learning, applied to vision-based problems like Atari games, maps pixels directly to actions; internally, the deep neural network bears the responsibility of both extracting useful information and making decisions based on it. By separating the image processing from decision-making, one could better understand the complexity of each task, as well as potentially find smaller policy representations that are easier for humans to understand and may generalize better. To this end, we propose a new method for learning policies and compact state representations separately but simultaneously for policy approximation in reinforcement learning. State representations are generated by an encoder based on two novel algorithms: Increasing Dictionary Vector Quantization makes the encoder capable of growing its dictionary size over time, to address new observations as they appear in an open-ended online-learning context; Direct Residuals Sparse Coding encodes observations by disregarding reconstruction error minimization, and aiming instead for highest information inclusion. The encoder autonomously selects observations online to train on, in order to maximize code sparsity. As the dictionary size increases, the encoder produces increasingly larger inputs for the neural network: this is addressed by a variation of the Exponential Natural Evolution Strategies algorithm which adapts its probability distribution dimensionality along the run. We test our system on a selection of Atari games using tiny neural networks of only 6 to 18 neurons (depending on the game's controls). These are still capable of achieving results comparable---and occasionally superior---to state-of-the-art techniques which use two orders of magnitude more neurons.

研究动机与目标

• 探究是否可通过将特征提取与决策制定解耦，在Atari游戏中使用极小的神经网络实现策略学习。
• 解决端到端深度强化学习的局限性，即在单一高容量网络中混淆了特征提取与策略学习。
• 开发一种方法，实现在不依赖重建误差最小化的情况下，对视觉观测进行在线、开放式学习，生成紧凑且稀疏的表征。
• 证明当与高效、自适应的特征编码器配对时，小型策略网络可实现具有竞争力的性能。
• 挑战主流观点，即视觉强化学习任务需要复杂且端到端的深度网络。

提出的方法

• 提出递增字典向量量化（IDVQ），一种在线算法，通过在观测空间中动态扩展中心点字典，将环境中交互过程中新出现的视觉特征编码为向量。
• 采用直接残差稀疏编码（DRSC），通过最大化信息包含量而非最小化重建误差来编码观测，生成二值编码以指示哪些中心点包含相关信息。
• 利用随时间演化的字典大小，动态增加策略网络的输入维度，该过程由一种特殊变体的指数自然进化策略（Exponential Natural Evolution Strategies）处理，该策略随时间自适应调整其多变量高斯分布的维度。
• 通过从智能体与环境交互中选择相关观测，自主训练编码器，确保对新视觉模式的持续适应。
• 采用仅含6至18个神经元的单层神经网络策略，通过神经进化方法训练，将紧凑编码映射为动作。
• 通过构建当前编码的残差来生成新中心点，忽略重建伪影，从而在编码稀疏性与信息完整性之间保持平衡。

实验结果

研究问题

• RQ1 当与高效独立的特征编码器配对时，仅含6至18个神经元的策略网络是否能在Atari游戏中实现具有竞争力的性能？
• RQ2 是否可能在不最小化重建误差的情况下学习到紧凑且信息丰富的视觉表征，且这种表征是否能带来更好的策略性能？
• RQ3 在线、开放式特征学习系统是否能在无环境先验知识的情况下，适应强化学习过程中日益复杂的视觉观测？
• RQ4 将特征学习与策略学习解耦，是否能实现更小、更可解释且可能更具泛化能力的策略，相比端到端深度学习？
• RQ5 当提供高质量、稀疏且信息丰富的表征时，极小的神经网络策略在多样化的Atari游戏中能实现多大程度的泛化？

主要发现

• 所提方法在多个Atari游戏中仅使用策略网络中的6至18个神经元，即实现了最先进性能——比标准深度强化学习基线少两个数量级的参数。
• 该系统在Qbert等具有挑战性的游戏中表现优于或匹配更大的网络，这些游戏需要战略规划与精确的时间控制。
• DRSC与IDVQ的使用实现了无需最小化重建误差的有效特征提取，表明信息完整性比完美重建对策略学习更为关键。
• 编码器在训练过程中自主选择并学习新观测，实现了对新视觉模式的在线、开放式自适应。
• 指数自然进化策略的变体成功通过随时间调整其分布维度，管理了输入维度的持续增长，从而实现了对演化策略的稳定训练。
• 该方法在普通硬件上即可实现具有竞争力的结果，无需大规模服务器集群支持，且源代码公开，便于复现。