[论文解读] RLgraph: Flexible Computation Graphs for Deep Reinforcement Learning.

Michael Schaarschmidt, Sven Mika+2 more|arXiv (Cornell University)|Oct 21, 2018

Reinforcement Learning in Robotics被引用 4

一句话总结

RLgraph 是一个灵活的库，将深度强化学习中的逻辑组件组合、后端图定义与分布式执行解耦。通过在多种深度学习框架和分布式后端上同时支持静态计算图与定义即运行（define-by-run）计算图，它实现了高性能、稳定的强化学习实现，同时提升了可移植性与可扩展性。

ABSTRACT

Reinforcement learning (RL) tasks are challenging to implement, execute and test due to algorithmic instability, hyper-parameter sensitivity, and heterogeneous distributed communication patterns. We argue for the separation of logical component composition, backend graph definition, and distributed execution. To this end, we introduce RLgraph, a library for designing and executing high performance RL computation graphs in both static graph and define-by-run paradigms. The resulting implementations yield high performance across different deep learning frameworks and distributed backends.

研究动机与目标

• 解决深度强化学习中稳定性差、超参数敏感以及复杂通信模式带来的挑战。
• 将逻辑组件组合与后端执行及图定义解耦，以提升模块化程度。
• 在统一框架中同时支持静态与动态（定义即运行）计算图。
• 实现在多种深度学习框架和分布式后端上的高效执行。
• 提升强化学习研究中的可复现性、性能以及实验便捷性。

提出的方法

• 提出一种模块化架构，将组件组合、图定义与分布式执行分离。
• 同时支持静态计算图（用于优化）与定义即运行（用于灵活性与调试）。
• 提供统一的 API，抽象多种深度学习框架（如 PyTorch、TensorFlow）的差异。
• 支持与多种分布式后端（如 Ray、Horovod）无缝集成，实现可扩展训练。
• 通过图级优化与自动微分，在不同计算范式间保持高性能。
• 抽象分布式强化学习中的通信模式，以应对异构与动态工作负载。

实验结果

研究问题

• RQ1 如何在强化学习系统中解耦组件组合、图定义与分布式执行？
• RQ2 统一框架能否在不牺牲性能的前提下同时支持静态与动态计算图？
• RQ3 RLgraph 如何提升超参数敏感的强化学习任务中的稳定性与可复现性？
• RQ4 RLgraph 在多种深度学习框架与分布式后端上能实现多高的性能？
• RQ5 RLgraph 中关注点分离的设计对开发效率与系统可维护性有何影响？

主要发现

• RLgraph 在多种深度学习框架上实现高性能强化学习训练，且代码修改极少。
• 关注点的分离显著提升了强化学习实验的模块化、可维护性与可复现性。
• 对静态与定义即运行范式的双重支持，使开发者可根据需要在性能与灵活性之间自由切换。
• 通过抽象异构通信模式，框架实现了高效的分布式执行。
• 该库降低了实现复杂度，显著加速了深度强化学习的原型开发。