[论文解读] RLlib Flow: Distributed Reinforcement Learning is a Dataflow Problem

Eric Liang, Zhanghao Wu+4 more|arXiv (Cornell University)|Nov 25, 2020

Reinforcement Learning in Robotics参考文献 29被引用 4

一句话总结

本文提出 RLlib Flow，一种混合的演员-数据流编程模型，将分布式强化学习重新构架为数据流问题，从而实现高层级、可组合且高性能的实现。通过结合数据流抽象与受控的演员消息传递，该方法将生产代码量减少了 2–9 倍，并支持此前需低层系统编程才能实现的复杂多智能体算法。

ABSTRACT

Researchers and practitioners in the field of reinforcement learning (RL) frequently leverage parallel computation, which has led to a plethora of new algorithms and systems in the last few years. In this paper, we re-examine the challenges posed by distributed RL and try to view it through the lens of an old idea: distributed dataflow. We show that viewing RL as a dataflow problem leads to highly composable and performant implementations. We propose RLlib Flow, a hybrid actor-dataflow programming model for distributed RL, and validate its practicality by porting the full suite of algorithms in RLlib, a widely adopted distributed RL library. Concretely, RLlib Flow provides 2-9 code savings in real production code and enables the composition of multi-agent algorithms not possible by end users before. The open-source code is available as part of RLlib at https://github.com/ray-project/ray/tree/master/rllib.

研究动机与目标

• 为解决现有分布式强化学习库中存在的高门槛和可扩展性有限的问题，这些库通常需要低层消息传递机制且缺乏可组合性。
• 使研究人员和实践者能够无需深入系统知识，即可轻松自定义、调试和组合分布式强化学习算法。
• 在保持高性能的同时，降低生产级强化学习代码的复杂性和样板代码量。
• 支持新型用例，如不同算法的交错训练以及复杂的多智能体训练模式。
• 证明高层级数据流抽象可以达到甚至超越低层演员实现的性能。

提出的方法

• 作者设计了一种混合的演员-数据流模型，将数据流操作符与对演员进程的显式引用相结合，实现受控的消息传递。
• 他们引入了序列与并发操作符（例如，Union、屏障语义），以管理数据流片段与演员之间的同步。
• 该模型基于 Ray 实现，利用其演员和分布式任务执行原语，暴露高层抽象的同时保持高性能。
• 关键原语包括用于并行数据处理的数据流操作符，以及用于目标通信的演员引用，从而实现对分布式执行的细粒度控制。
• 通过将算法拓扑表示为可组合的数据流图并嵌入演员交互，该系统支持同步与异步训练模式。
• 通过将所有 RLlib 算法迁移至 RLlib Flow，验证了该方法的有效性，展示了代码量减少与原始低层实现相当的性能。

实验结果

研究问题

• RQ1 能否将分布式强化学习有效建模为数据流问题，以提升可组合性与开发人员生产力？
• RQ2 在不牺牲性能的前提下，混合的演员-数据流模型在多大程度上能降低实现分布式强化学习算法的复杂性？
• RQ3 该模型能否支持此前在现有高层级强化学习库中不可行的新算法组合（如多智能体或元学习工作流）？
• RQ4 在真实世界的强化学习工作负载中，高层级数据流抽象的性能与低层演员实现相比如何？
• RQ5 该模型能否支持复杂且用户自定义的分布式模式（如交错训练），这些模式无法通过预定义模板表达？

主要发现

• RLlib Flow 将 RLlib 中实现分布式执行所需的代码行数减少了 2–9 倍，显著降低了实现与维护的开销。
• 该模型支持实现此前需手写低层系统代码才能完成的多智能体强化学习算法。
• 性能基准测试表明，RLlib Flow 实现了接近理论最优的性能，其吞吐量在 CartPole-v0 上的 PPO 训练中与或超过 Spark Streaming 的表现。
• 该系统与原始 RLlib 实现（基于低层演员和 RPC 原语）保持性能一致，证明高层抽象无需付出性能代价。
• 该混合模型成功将数据流抽象与目标化演员消息传递相结合，实现在复杂训练工作流中兼具可组合性与高效同步。
• RLlib Flow 的开源实现已作为 RLlib 库的一部分发布，使更广泛的科研与实践社区能够采用并扩展该技术。