[论文解读] Rank the Episodes: A Simple Approach for Exploration in Procedurally-Generated Environments

Daochen Zha, Wenye Ma+3 more|arXiv (Cornell University)|Jan 20, 2021

Reinforcement Learning in Robotics参考文献 87被引用 13

一句话总结

该论文提出 RAPID，一种新颖的基于情节的探索方法，适用于传统内在奖励方法因缺乏状态重用而在程序化生成环境中失效的场景。RAPID 根据覆盖度和长期探索质量对整个情节进行排序，将高分情节存储在排序缓冲区中，并利用模仿学习复现这些行为——在 MiniGrid、MiniWorld 和 MuJoCo 基准测试中，相较于最先进内在奖励方法，实现了更高的样本效率和最终性能。

ABSTRACT

Exploration under sparse reward is a long-standing challenge of model-free reinforcement learning. The state-of-the-art methods address this challenge by introducing intrinsic rewards to encourage exploration in novel states or uncertain environment dynamics. Unfortunately, methods based on intrinsic rewards often fall short in procedurally-generated environments, where a different environment is generated in each episode so that the agent is not likely to visit the same state more than once. Motivated by how humans distinguish good exploration behaviors by looking into the entire episode, we introduce RAPID, a simple yet effective episode-level exploration method for procedurally-generated environments. RAPID regards each episode as a whole and gives an episodic exploration score from both per-episode and long-term views. Those highly scored episodes are treated as good exploration behaviors and are stored in a small ranking buffer. The agent then imitates the episodes in the buffer to reproduce the past good exploration behaviors. We demonstrate our method on several procedurally-generated MiniGrid environments, a first-person-view 3D Maze navigation task from MiniWorld, and several sparse MuJoCo tasks. The results show that RAPID significantly outperforms the state-of-the-art intrinsic reward strategies in terms of sample efficiency and final performance. The code is available at https://github.com/daochenzha/rapid

研究动机与目标

• 解决在状态重用稀少的程序化生成环境中稀疏奖励探索的挑战。
• 克服依赖重复访问状态的基于状态的内在奖励方法（如基于计数或好奇心的方法）的局限性。
• 探究情节级探索评分是否可作为识别良好探索行为的更通用且有效的标准。
• 开发一种实用方法，使智能体能够从过往成功探索情节中学习并复现。
• 证明该方法在连续状态/动作空间及复杂环境中的泛化能力。

提出的方法

• RAPID 使用双分值机制评估每个情节：情节级覆盖度分数和基于状态访问多样性计算的长期探索分数。
• 将高分情节存储在排序缓冲区中，该缓冲区维护一组经过筛选的最有效探索轨迹。
• 智能体使用行为克隆技术模仿排序缓冲区中的轨迹，学习复现成功的探索模式。
• 该方法不依赖外部奖励，因此适用于稀疏奖励场景。
• 排序缓冲区通过增量方式更新，新情节被评分后仅保留表现最佳的若干条。
• 该方法设计为模块化，可与行为克隆以外的各种模仿学习技术结合使用。

实验结果

研究问题

• RQ1 在程序化生成环境中，情节级探索评分是否比基于状态的内在奖励更具鲁棒性和通用性？
• RQ2 从排序缓冲区中模仿高分情节是否能提升稀疏奖励、程序化强化学习场景下的样本效率和最终性能？
• RQ3 RAPID 是否能泛化到具有连续状态和动作空间的环境（如 3D 导航和 MuJoCo 任务）？
• RQ4 与最先进内在奖励方法相比，RAPID 在学习速度和最终性能方面表现如何？
• RQ5 缓冲区大小和选择策略对方法稳定性与性能有何影响？

主要发现

• 在多个程序化生成环境（包括 MiniGrid 和 MiniWorld）中，RAPID 在样本效率方面显著优于最先进内在奖励方法。
• 在 MiniWorld 3D 导航任务中，RAPID 达到了更高的最终性能并展现出更快的学习曲线。
• 在稀疏 MuJoCo 任务中，RAPID 即使在无外部奖励的情况下也表现出稳健性能，表明其具备强大的内在探索能力。
• 消融实验表明，排序缓冲区机制对性能至关重要，更大的缓冲区可提升稳定性，但会降低样本效率。
• 该方法在连续控制任务中表现出良好泛化能力，证实其不仅适用于离散环境。
• 实验结果证实，在状态重用极少的程序化环境中，情节级评分比基于状态新颖性的方法更有效。