[论文解读] RLzoo: A Comprehensive and Adaptive Reinforcement Learning Library.

Zihan Ding, Tianyang Yu+4 more|arXiv (Cornell University)|Sep 18, 2020

Reinforcement Learning in Robotics参考文献 27被引用 4

一句话总结

RLzoo 是一个全面且自适应的深度强化学习库，通过提供高级和低级 API、自适应的智能体构建算法以及经过优化超参数的最先进算法的广泛参考实现，简化了深度强化学习智能体的开发与可复现性。它在 API 简洁性方面优于现有库，并提供了最大规模的参考深度强化学习实现集合。

ABSTRACT

Recently, we have seen a rapidly growing adoption of Deep Reinforcement Learning (DRL) technologies. Fully achieving the promise of these technologies in practice is, however, extremely difficult. Users have to invest tremendous efforts in building DRL agents, incorporating the agents into various external training environments, and tuning agent implementation/hyper-parameters so that they can reproduce state-of-the-art (SOTA) performance. In this paper, we propose RLzoo, a new DRL library that aims to make it easy to develop and reproduce DRL algorithms. RLzoo has both high-level APIs and low-level APIs, useful for constructing and customising DRL agents, respectively. It has an adaptive agent construction algorithm that can automatically integrate custom RLzoo agents into various external training environments. To help reproduce the results of SOTA algorithms, RLzoo provides rich reference DRL algorithm implementations and effective hyper-parameter settings. Extensive evaluation results show that RLzoo not only outperforms existing DRL libraries in its simplicity of API design; but also provides the largest number of reference DRL algorithm implementations.

研究动机与目标

• 减少在实际部署中构建、定制和调优深度强化学习智能体所需的大量工作量。
• 解决在不同训练环境中复现最先进深度强化学习性能的挑战。
• 提供一个统一且可扩展的框架，支持深度强化学习智能体的快速原型设计与深度定制。
• 通过自适应构建算法，简化将自定义智能体集成到外部训练环境中的流程。
• 提供一个大规模、文档详尽的参考深度强化学习算法实现集合，配备有效的超参数设置。

提出的方法

• 该库提供高级 API 以简化智能体构建，同时提供低级 API 以实现对深度强化学习组件的细粒度定制。
• 自适应智能体构建算法可自动将自定义 RLzoo 智能体集成到各种外部训练环境中，无需手动配置。
• 它包含一组全面的最先进深度强化学习算法的参考实现，每个实现均配有经过验证的超参数设置。
• 设计强调模块化与可扩展性，以支持标准与新型深度强化学习算法的开发。
• 该库通过标准化接口和自动兼容性检查，支持与多样化环境的无缝交互。
• 超参数配置基于实证性能进行筛选，以确保最先进结果的可靠复现。

实验结果

研究问题

• RQ1 如何简化深度强化学习库的设计，以降低开发与复现深度强化学习智能体的门槛？
• RQ2 自适应智能体构建算法在将智能体集成到外部环境时，能在多大程度上减少手动配置？
• RQ3 提供经筛选的、带有优化超参数的参考实现，对可复现性与性能有何影响？
• RQ4 在 API 易用性与算法覆盖范围方面，RLzoo 与现有深度强化学习库相比表现如何？
• RQ5 一个统一的库框架能否有效支持深度强化学习研究中的高层级原型设计与底层级定制？

主要发现

• RLzoo 在 API 设计的简洁性与直观性方面优于现有深度强化学习库，显著加快了开发速度并简化了集成流程。
• 该库在现有库中提供了最多数量的参考深度强化学习算法实现，显著增强了可复现性与基准测试能力。
• 自适应智能体构建算法成功实现了在多种外部训练环境中对自定义智能体的低干预集成。
• 经筛选的超参数设置确保了在多个环境中可靠复现最先进性能。
• 大量评估结果证实，RLzoo 同时支持快速原型设计与高级定制，适用于多样化的研究与应用场景。