[论文解读] Retrospective Analysis of the 2019 MineRL Competition on Sample Efficient Reinforcement Learning

Stephanie Milani, Nicholay Topin+6 more|arXiv (Cornell University)|Mar 10, 2020

Reinforcement Learning in Robotics参考文献 35被引用 8

一句话总结

本文对2019年MineRL竞赛进行了回顾性分析，该竞赛旨在挑战参赛者在复杂且分层的《我的世界》游戏环境中，利用人类示范开发样本高效的强化学习算法。竞赛成功推动了可访问、可泛化的强化学习方法的发展，顶尖解决方案通过模仿学习与分层强化学习相结合，在严格的计算与样本约束下取得了优异表现。

ABSTRACT

To facilitate research in the direction of sample efficient reinforcement learning, we held the MineRL Competition on Sample Efficient Reinforcement Learning Using Human Priors at the Thirty-third Conference on Neural Information Processing Systems (NeurIPS 2019). The primary goal of this competition was to promote the development of algorithms that use human demonstrations alongside reinforcement learning to reduce the number of samples needed to solve complex, hierarchical, and sparse environments. We describe the competition, outlining the primary challenge, the competition design, and the resources that we provided to the participants. We provide an overview of the top solutions, each of which use deep reinforcement learning and/or imitation learning. We also discuss the impact of our organizational decisions on the competition and future directions for improvement.

研究动机与目标

• 推动开发能够利用人类示范减少环境样本与计算资源需求的样本高效强化学习算法。
• 创建一个反映现实世界控制挑战（如长时程规划与稀疏奖励）的基准环境，利用《我的世界》游戏世界实现。
• 通过提供标准化工具、人类示范数据与带计算限制的公平评估框架，提升高级强化学习研究的可访问性。
• 评估竞赛设计选择（如评估方法、规则清晰度与资源提供）对参赛者表现与参与度的影响。
• 识别顶尖解决方案中的共性高层次算法模式，为未来竞赛迭代提供参考。

提出的方法

• 参赛者在基于Malmo平台的自定义Gym环境中训练智能体，观测状态为64×64像素的视觉输入与离散物品库存状态。
• 任务要求智能体在《我的世界》中获取钻石，该环境具有分层结构、稀疏奖励，需长期规划与复杂技能习得。
• 采用两轮竞赛形式：第一轮允许广泛参与并设置样本预算；第二轮选拔顶尖团队，在严格计算与时间约束下重新训练。
• 每支队伍以标准化Docker容器提交智能体，确保可复现性，并简化在统一硬件平台上的评估流程。
• 参赛者获得了大规模的人类示范轨迹数据集与基线模型，以加速算法开发。
• 评估采用新颖的视觉领域随机化技术，以确保泛化性与规则合规性，同时对动作空间应用随机双射映射，防止对语义的过拟合。

实验结果

研究问题

• RQ1 在分层、稀疏奖励环境中，模仿学习与人类先验在降低深度强化学习样本复杂度方面的有效性如何？
• RQ2 竞赛设计选择（如评估方法、计算限制与规则清晰度）对提交解决方案的多样性与质量有何影响？
• RQ3 分层强化学习与结构化动作空间在复杂环境中在提升样本效率与泛化能力方面的作用有多大？
• RQ4 标准化基线与共享计算资源在多大程度上影响了来自不同研究背景的参赛者在可访问性与性能方面的表现？
• RQ5 在严格计算约束下，哪些关键算法模式与网络架构选择促成了样本高效强化学习的成功？

主要发现

• 无任何团队成功获取钻石，表明该任务仍极具挑战性，样本效率仍是亟待解决的关键开放问题。
• 顶尖解决方案一致地利用了人类示范与分层强化学习，许多团队结合了模仿学习与深度强化学习以提升样本效率。
• 标准化Docker容器与共享评估系统显著简化了提交处理流程，并确保了所有提交结果的可复现性。
• 参赛者在动作空间设计中广泛运用归纳偏置，表明架构选择在样本约束下对性能具有关键影响。
• 竞赛提供的每支队伍1500美元Azure积分的计算预算足以完成训练与验证，部分团队在竞赛结束后仍保留计算资源。
• 组织方计划在未来竞赛中从动作空间中移除语义标签，并在评估期间应用随机双射映射，以提升泛化能力并减少过拟合。