[论文解读] RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning

Çaǧlar Gülçehre, Ziyu Wang+16 more|arXiv (Cornell University)|Jun 24, 2020

Reinforcement Learning in Robotics被引用 9

一句话总结

本论文提出了 RL Unplugged，一个全面的离线强化学习基准测试套件，通过在多种领域（包括Atari游戏、DM Control Suite和运动控制任务）中统一环境、数据集和评估协议，实现了对离线强化学习算法的系统性、可复现比较。实验表明，算法在完全可观测任务中表现良好，但在部分可观测设置下仍面临挑战。

ABSTRACT

Offline methods for reinforcement learning have a potential to help bridge the gap between reinforcement learning research and real-world applications. They make it possible to learn policies from offline datasets, thus overcoming concerns associated with online data collection in the real-world, including cost, safety, or ethical concerns. In this paper, we propose a benchmark called RL Unplugged to evaluate and compare offline RL methods. RL Unplugged includes data from a diverse range of domains including games (e.g., Atari benchmark) and simulated motor control problems (e.g., DM Control Suite). The datasets include domains that are partially or fully observable, use continuous or discrete actions, and have stochastic vs. deterministic dynamics. We propose detailed evaluation protocols for each domain in RL Unplugged and provide an extensive analysis of supervised learning and offline RL methods using these protocols. We will release data for all our tasks and open-source all algorithms presented in this paper. We hope that our suite of benchmarks will increase the reproducibility of experiments and make it possible to study challenging tasks with a limited computational budget, thus making RL research both more systematic and more accessible across the community. Moving forward, we view RL Unplugged as a living benchmark suite that will evolve and grow with datasets contributed by the research community and ourselves. Our project page is available on https://git.io/JJUhd.

研究动机与目标

• 通过提供标准化的数据集和评估协议，解决离线强化学习中的可复现性危机。
• 在多样化、真实的环境中，实现对离线强化学习算法的公平且系统化的比较。
• 通过包含具有部分可观测性、随机动力学和高维观测的挑战性领域，弥合模拟强化学习研究与实际应用之间的差距。
• 通过提供统一的API和开源所有算法与数据，支持更易获取的研究。
• 建立一个随社区贡献和新数据集持续演进的动态基准。

提出的方法

• 设计统一的API，以标准化访问多种环境中的离线强化学习数据集。
• 从现有基准中收集并整理数据集，包括Atari 2600游戏、DM Control Suite、DM Locomotion和RWRL任务。
• 包含具有不同特性的环境：离散与连续动作空间、完全可观测与部分可观测状态，以及随机与确定性动力学。
• 为每个环境定义详细且一致的评估协议，包括使用离线数据集中最佳策略进行得分归一化。
• 在相同协议下实现并评估最先进离线强化学习算法（如SAC、BCQ、BRAC、BCQ、BCQ），以确保公平比较。
• 通过GitHub公开所有数据集、代码和评估工具，以促进透明度和可复现性。

实验结果

研究问题

• RQ1 在具有不同可观测程度和动力学特性的多样化基准环境中，最先进离线强化学习算法的表现如何？
• RQ2 离线强化学习方法在部分可观测和高维观测设置（如基于图像的控制任务）中的泛化能力如何？
• RQ3 评估协议的标准化在多大程度上提升了离线强化学习算法比较的可复现性与公平性？
• RQ4 当前离线强化学习方法在具有挑战性的、类真实世界环境（如运动控制和灵巧操作任务）中的性能限制是什么？
• RQ5 统一的基准测试套件是否能够加速离线强化学习的发展，并支持更广泛的社区采纳？

主要发现

• 离线强化学习方法在DM Control Suite和Atari 2600游戏的完全可观测控制任务中表现优异，证明了在成熟领域中离线学习的可行性。
• 在部分可观测环境（如DM Locomotion套件）中，性能显著下降，表明当前方法在长时序和记忆密集型任务中仍存在困难。
• 该基准揭示了SAC、BRAC和BCQ等现有算法的实现挑战，凸显了标准化评估对确保可复现性的必要性。
• 使用离线数据集中最佳策略进行得分归一化，实现了跨环境的公平比较，中位数得分清晰显示出不同算法之间的性能差距。
• 涵盖从基于图像的Atari到复杂运动控制任务的多样化环境，暴露了当前离线强化学习泛化能力和表征学习的局限性。
• 数据集和代码的开源使计算资源有限的研究人员能够复现并扩展最先进结果，显著提升了该领域的可及性。