[论文解读] The MineRL 2020 Competition on Sample Efficient Reinforcement Learning using Human Priors

William H. Guss, Castro, Mario Ynocente+13 more|arXiv (Cornell University)|Jan 26, 2021

Reinforcement Learning in Robotics被引用 14

一句话总结

本论文介绍了 MineRL 2020 竞赛，这是一场利用人类先验知识以减少环境样本需求的样本高效强化学习挑战。参赛者基于大规模人类示范数据集（6000 万条轨迹）在严格样本预算下训练智能体，以解决分层稀疏的 MineRL ObtainDiamond 任务，竞赛设有两个赛道——一个允许环境交互，一个不允许，从而推动模仿学习与高效探索的研究。

ABSTRACT

Although deep reinforcement learning has led to breakthroughs in many difficult domains, these successes have required an ever-increasing number of samples, affording only a shrinking segment of the AI community access to their development. Resolution of these limitations requires new, sample-efficient methods. To facilitate research in this direction, we propose this second iteration of the MineRL Competition. The primary goal of the competition is to foster the development of algorithms which can efficiently leverage human demonstrations to drastically reduce the number of samples needed to solve complex, hierarchical, and sparse environments. To that end, participants compete under a limited environment sample-complexity budget to develop systems which solve the MineRL ObtainDiamond task in Minecraft, a sequential decision making environment requiring long-term planning, hierarchical control, and efficient exploration methods. The competition is structured into two rounds in which competitors are provided several paired versions of the dataset and environment with different game textures and shaders. At the end of each round, competitors submit containerized versions of their learning algorithms to the AIcrowd platform where they are trained from scratch on a hold-out dataset-environment pair for a total of 4-days on a pre-specified hardware platform. In this follow-up iteration to the NeurIPS 2019 MineRL Competition, we implement new features to expand the scale and reach of the competition. In response to the feedback of the previous participants, we introduce a second minor track focusing on solutions without access to environment interactions of any kind except during test-time. Further we aim to prompt domain agnostic submissions by implementing several novel competition mechanics including action-space randomization and desemantization of observations and actions.

研究动机与目标

• 解决深度强化学习的高样本复杂性问题，该问题限制了其可及性与实际应用。
• 通过利用人类示范来减少所需环境交互次数，实现样本高效的强化学习。
• 促进在类似我的世界这样的稀疏环境中进行分层、长时程决策制定的研究。
• 通过计算资源资助和差旅奖学金支持多样化的参与者，提升强化学习研究中的包容性。
• 提供可扩展、开放的竞赛框架与标准化评估，推动模仿学习与强化学习基准测试的发展。

提出的方法

• 使用 MineRL-v0 环境，这是一个基于我的世界、具有部分可观测性、稀疏奖励和分层结构的环境，用于模拟复杂决策任务。
• 提供大规模的人类示范数据集，包含超过 6000 万组状态-动作对，可在修改游戏状态和视觉效果后重新模拟为智能体轨迹。
• 将竞赛分为两轮，使用不同纹理和着色器的配对数据集-环境变体，以测试泛化能力。
• 要求提交内容为容器化，并在标准化硬件平台上，从头开始在预留的数据集-环境配对上训练四天。
• 实施动作空间随机化以及观察与动作的去语义化处理，以提升所学策略在不同领域与任务中的泛化能力。
• 根据训练后智能体的最终性能对提交结果进行排名，评估在 AICrowd 平台进行，以确保可复现性与公平性。

实验结果

研究问题

• RQ1 人类示范是否能显著减少在复杂、分层环境中训练样本高效强化学习智能体所需的环境样本数量？
• RQ2 当应用于类似获取我的世界钻石这类稀疏奖励、长时程任务时，模仿学习与分层模仿学习方法的有效性如何？
• RQ3 在不同视觉与环境配置（如纹理、着色器）下，基于人类示范训练的策略能多大程度实现泛化？
• RQ4 智能体是否能在训练期间完全不进行环境交互，仅依赖示范与自监督预训练就实现优异性能？
• RQ5 在现实世界相关环境中，结合模仿学习与强化学习以提升样本效率的最有效策略是什么？

主要发现

• 竞赛吸引了超过 1000 名注册参与者和超过 660 份完整提交，表明社区对样本高效强化学习有高度参与和浓厚兴趣。
• MineRL-v0 数据集包含超过 6000 万条人类轨迹，使在不同视觉与状态条件下高保真地重现实现智能体行为成为可能。
• 上届竞赛的顶尖提交引入了逆强化学习与分层模仿学习的新方法，显著推动了样本效率的进步。
• 竞赛框架（包括容器化评估与标准化硬件）确保了提交结果的可复现性与公平性。
• 组织方为代表性不足的群体提供了计算资源资助与差旅奖学金，提升了强化学习研究中的多样性与可及性。
• 竞赛的双轨结构——支持交互式训练与仅示范训练——促进了领域无关、可泛化的强化学习算法的创新。