[论文解读] Rainbow: Combining Improvements in Deep Reinforcement Learning

Matteo Hessel, Joseph Modayil+8 more|arXiv (Cornell University)|Oct 6, 2017

Evolutionary Algorithms and Applications被引用 427

一句话总结

Rainbow 将六项 DQN 扩展整合在一起（Double Q-learning、Prioritized Replay、Dueling Networks、Multi-step learning、Distributional RL、Noisy Nets），在57个 Atari 游戏上实现了数据效率和最终性能的最先进水平。

ABSTRACT

The deep reinforcement learning community has made several independent improvements to the DQN algorithm. However, it is unclear which of these extensions are complementary and can be fruitfully combined. This paper examines six extensions to the DQN algorithm and empirically studies their combination. Our experiments show that the combination provides state-of-the-art performance on the Atari 2600 benchmark, both in terms of data efficiency and final performance. We also provide results from a detailed ablation study that shows the contribution of each component to overall performance.

研究动机与目标

• 理解哪些 DQN 改进是互补的的动机。
• 研究将多项扩展整合是否会带来叠加的性能提升。
• 量化 Rainbow 在广泛 Atari 基准上的数据效率和最终性能。
• 提供消融分析以识别各组件的贡献。

提出的方法

• 将六个 DQN 扩展整合到一个代理中（Double Q-learning、Prioritized Replay、Dueling Networks、Multi-step targets、Distributional Q-learning、Noisy Nets）。
• 用多步分布式损失替代一阶段分布式损失，并对返回分布采用对偶结构。
• 通过 KL 损失而非绝对 TD 误差来引导回放的转移优先级。
• 在分布式 Bellman 更新中使用固定原子分布的多步目标。
• 使用带分解高斯噪声的 Noisy Nets 进行探索。
• 在57个 Atari 2600 游戏上使用标准化和两种测试模式进行评估；对每个组件进行消融分析。

实验结果

研究问题

• RQ1 当将六个 DQN 扩展整合到一个代理中时，它们是否互补？
• RQ2 每个组件对 Rainbow 在不同游戏和学习阶段的贡献是什么？
• RQ3 在 Atari 套件上，Rainbow 相对于现有基线在数据效率和最终性能方面有何表现？

主要发现

Agent	no-ops	human starts
DQN	79%	68%
DDQN	117%	110%
Prioritized DDQN	140%	128%
Dueling DDQN	151%	117%
A3C	-	116%
Noisy DQN	118%	102%
Distributional DQN	164%	125%
Rainbow	223%	153%

• Rainbow 在57个 Atari 游戏在数据效率和最终性能方面达到最先进水平。
• Rainbow 在达到 7M 帧后达到 DQN 的最终性能，并在 44M 帧内超越其他基线。
• Rainbow 在完全训练时，在 no-ops 机制下的中位人类归一分数为 223%，在 human-starts 机制下为 153%。
• 消融研究表明优先回放和多步学习是性能提升中最关键的组件。
• Noisy Nets 通常提升中位数表现；分布式学习仍然有益，尤其是在表现较高的游戏中。