[论文解读] Ray RLLib: A Composable and Scalable Reinforcement Learning Library

Eric Liang, Richard Liaw+6 more|arXiv (Cornell University)|Dec 7, 2017

Reinforcement Learning in Robotics参考文献 51被引用 109

一句话总结

Ray RLLib 在 Ray 的基于任务的编程模型之上构建了一个可组合且可扩展的强化学习库，支持细粒度并行和 RL 组件的模块化重用。通过将资源和计算需求封装在各个组件中，其性能与高度优化的参考实现相当或更优，同时支持一系列最先进的算法。

ABSTRACT

Reinforcement learning (RL) algorithms involve the deep nesting of distinct components, where each component typically exhibits opportunities for distributed computation. Current RL libraries offer parallelism at the level of the entire program, coupling all the components together and making existing implementations difficult to extend, combine, and reuse. We argue for building composable RL components by encapsulating parallelism and resource requirements within individual components, which can be achieved by building on top of a flexible task-based programming model. We demonstrate this principle by building Ray RLLib on top of Ray and show that we can implement a wide range of state-of-the-art algorithms by composing and reusing a handful of standard components. This composability does not come at the cost of performance --- in our experiments, RLLib matches or exceeds the performance of highly optimized reference implementations. Ray RLLib is available as part of Ray at this https URL

研究动机与目标

• 解决现有强化学习库的僵化性问题，这些库将组件紧密耦合，限制了可扩展性。
• 通过将资源和计算需求封装在单个强化学习组件中，实现细粒度、可组合的并行处理。
• 证明复杂强化学习算法可通过组合少量可重用、可扩展的组件来实现。
• 在不牺牲可组合性或可扩展性的情况下实现高性能。
• 提供一个灵活、可扩展的框架，用于实现和实验现代强化学习算法。

提出的方法

• 基于 Ray 的基于任务的编程模型构建 Ray RLLib，以实现动态、细粒度的任务调度和资源管理。
• 将每个强化学习组件（如策略、价值函数和回放缓冲区）封装在独立、可组合的单元中，明确其资源和计算需求。
• 利用 Ray 的分布式执行模型，实现在多台机器和 GPU 上透明地分发组件。
• 通过模块化接口设计组件，支持标准强化学习构建模块的任意组合。
• 利用 Ray 的容错机制和自动扩展能力，处理动态工作负载和资源分配。
• 通过组合这些可重用组件来实现标准强化学习算法，而无需低层级的重新实现。

实验结果

研究问题

• RQ1 在保持高性能和可扩展性的同时，是否可以使强化学习组件具备可组合性？
• RQ2 将并行化和资源管理封装在单个组件中，是否能提升可扩展性和重用性？
• RQ3 是否可以仅使用一组标准化的、可组合的组件来实现广泛的最先进的强化学习算法？
• RQ4 Ray RLLib 的可组合架构是否能达到或超过高度优化的单体式强化学习实现的性能？
• RQ5 Ray 中基于任务的编程模型如何实现强化学习组件的高效和灵活分发？

主要发现

• Ray RLLib 仅使用少量可组合、可重用的组件，成功实现了广泛的最先进的强化学习算法。
• 可组合的架构支持组件的无缝重用和组合，且不损失性能。
• 在基准测试环境中，Ray RLLib 的性能与高度优化的参考实现相当或更优。
• Ray 中基于任务的模型能够高效、透明地在异构硬件上分发强化学习组件。
• 将资源和计算需求封装在组件中，提升了模块化程度，简化了扩展和实验。
• 该系统表明，在强化学习库设计中，高性能与可组合性并非相互排斥。