[论文解读] On Bonus-Based Exploration Methods in the Arcade Learning Environment

Adrien Ali Taïga, William Fedus+3 more|arXiv (Cornell University)|Sep 22, 2021

Artificial Intelligence in Games参考文献 26被引用 8

一句话总结

本文在Atari 2600游戏上使用Rainbow框架，对基于奖励的探索方法——RND、ICM、CTS-counts和PixelCNN-counts——进行了统一评估。研究发现，尽管这些奖励方法在困难探索游戏Montezuma's Revenge中提升了性能，但在更简单的游戏中并未优于简单的ϵ-greedy探索策略；且在Montezuma's Revenge上的性能提升可能更多源于网络架构的进步，而非探索机制本身的改进。

ABSTRACT

Research on exploration in reinforcement learning, as applied to Atari 2600 game-playing, has emphasized tackling difficult exploration problems such as Montezuma's Revenge (Bellemare et al., 2016). Recently, bonus-based exploration methods, which explore by augmenting the environment reward, have reached above-human average performance on such domains. In this paper we reassess popular bonus-based exploration methods within a common evaluation framework. We combine Rainbow (Hessel et al., 2018) with different exploration bonuses and evaluate its performance on Montezuma's Revenge, Bellemare et al.'s set of hard of exploration games with sparse rewards, and the whole Atari 2600 suite. We find that while exploration bonuses lead to higher score on Montezuma's Revenge they do not provide meaningful gains over the simpler $\epsilon$-greedy scheme. In fact, we find that methods that perform best on that game often underperform $\epsilon$-greedy on easy exploration Atari 2600 games. We find that our conclusions remain valid even when hyperparameters are tuned for these easy-exploration games. Finally, we find that none of the methods surveyed benefit from additional training samples (1 billion frames, versus Rainbow's 200 million) on Bellemare et al.'s hard exploration games. Our results suggest that recent gains in Montezuma's Revenge may be better attributed to architecture change, rather than better exploration schemes; and that the real pace of progress in exploration research for Atari 2600 games may have been obfuscated by good results on a single domain.

研究动机与目标

• 在统一的评估框架中，系统比较流行的基于奖励的探索方法。
• 评估近期探索奖励方法是否在多样化的Atari 2600环境中表现出一致的性能提升。
• 探究在Montezuma's Revenge上进行超参数调优是否会导致在更简单游戏中性能下降。
• 评估将训练数据量增加至10亿帧对稀疏奖励环境中探索性能的影响。
• 确定探索研究中观察到的进展是否真正源于更好的探索机制，还是被网络架构变化和单个游戏评估偏差所混淆。

提出的方法

• 作者以Rainbow智能体为基础，应用不同的探索奖励：RND（随机网络蒸馏）、ICM（内在好奇心模块）、CTS-counts（基于神经网络的计数型探索）以及PixelCNN-counts。
• 所有方法均采用相同的训练设置：在完整的Atari 2600游戏套件上训练2亿帧，并在高难度探索游戏中扩展至10亿帧。
• 评估框架包括Bellemare等人提出的七款高难度探索游戏（如Montezuma's Revenge、Private Eye）以及完整的60款Atari游戏套件。
• 超参数在Montezuma's Revenge和原始ALE训练集上分别进行调优，以评估泛化能力。
• 性能通过所有游戏的人类归一化得分进行衡量，并与ϵ-greedy和Noisy Networks作为基线进行比较。
• 研究采用一致的深度强化学习训练流程，以隔离探索奖励对性能的影响，排除其他网络架构或训练差异的干扰。

实验结果

研究问题

• RQ1 基于奖励的探索方法是否在完整的Atari 2600游戏套件中始终优于ϵ-greedy？还是在更简单的游戏中表现较差？
• RQ2 在Montezuma's Revenge上报告的成功是否真正源于探索方法本身，还是源于智能体架构的改进？
• RQ3 在Montezuma's Revenge上进行超参数调优是否导致过度探索，从而在更简单的Atari游戏中性能下降？
• RQ4 将训练数据从2亿帧增加到10亿帧是否显著提升了高难度探索游戏的性能？
• RQ5 在Montezuma's Revenge上的性能提升是否真正归因于更好的探索机制，还是评估偏差和非标准训练制度的产物？

主要发现

• 在Montezuma's Revenge上，所有基于奖励的方法均优于ϵ-greedy，其中RND达到5199.2分，但这些优势无法推广到更简单的游戏中。
• 在完整的Atari 2600游戏套件中，所有基于奖励的方法表现均劣于或与ϵ-greedy相当，仅Noisy Networks在完整套件中优于其他所有方法。
• 在Montezuma's Revenge上的表现与在完整Atari套件上的表现呈负相关：在Montezuma's Revenge上表现优异的方法往往在更简单的游戏中表现较差。
• 在Montezuma's Revenge上进行超参数调优会导致过度探索行为，从而降低在更简单游戏中的性能；而在完整ALE数据集上进行调优也无法使性能超越ϵ-greedy。
• 将训练数据从2亿帧增加到10亿帧，在Bellemare等人定义的高难度探索游戏中未带来任何性能提升，表明这些方法并未提高样本效率。
• 研究结论认为，近期在Montezuma's Revenge上观察到的性能提升更可能源于网络架构的改进（如更深的网络），而非探索机制的优化。