[论文解读] RL-Scope: Cross-Stack Profiling for Deep Reinforcement Learning Workloads

James P. Gleeson, Srivatsan Krishnan+4 more|arXiv (Cornell University)|Feb 8, 2021

Reinforcement Learning in Robotics参考文献 16被引用 4

一句话总结

RL-Scope 是一种跨栈性能分析工具，可准确将深度强化学习（RL）工作负载中的 CPU 和 GPU 资源使用情况归因于高层算法操作，纠正了可能使训练时间膨胀高达 1.9× 的性能分析开销。它揭示了 RL 工作负载在本质上比监督学习更少受 GPU 限制，其主要瓶颈存在于高层 Python 代码、CUDA API 调用以及机器学习后端抽象中——尤其是由于抽象开销，PyTorch 和 TensorFlow Eager 实现之间存在 2.34×10^15 的运行时差异。

ABSTRACT

Deep reinforcement learning (RL) has made groundbreaking advancements in robotics, data center management and other applications. Unfortunately, system-level bottlenecks in RL workloads are poorly understood; we observe fundamental structural differences in RL workloads that make them inherently less GPU-bound than supervised learning (SL). To explain where training time is spent in RL workloads, we propose RL-Scope, a cross-stack profiler that scopes low-level CPU/GPU resource usage to high-level algorithmic operations, and provides accurate insights by correcting for profiling overhead. Using RL-Scope, we survey RL workloads across its major dimensions including ML backend, RL algorithm, and simulator. For ML backends, we explain a $2.3 imes$ difference in runtime between equivalent PyTorch and TensorFlow algorithm implementations, and identify a bottleneck rooted in overly abstracted algorithm implementations. For RL algorithms and simulators, we show that on-policy algorithms are at least $3.5 imes$ more simulation-bound than off-policy algorithms. Finally, we profile a scale-up workload and demonstrate that GPU utilization metrics reported by commonly used tools dramatically inflate GPU usage, whereas RL-Scope reports true GPU-bound time. RL-Scope is an open-source tool available at https://github.com/UofT-EcoSystem/rlscope .

研究动机与目标

• 为解决深度强化学习（RL）工作负载缺乏准确、跨栈性能分析工具的问题，这些工作负载在资源使用模式上与监督学习（SL）工作负载本质不同。
• 识别并量化被传统 GPU 为中心的性能分析器掩盖的 RL 训练中的系统级瓶颈，特别是由高层语言执行和性能分析开销引起的瓶颈。
• 在无需重新编译的情况下，实现对多个机器学习后端（如 PyTorch、TensorFlow）和模拟器中高层 RL 操作的 CPU 和 GPU 时间的细粒度、准确归因。
• 纠正可能使训练时间膨胀高达 1.9× 的 CPU 性能分析开销，特别是在 CPU 侧模拟和 API 调用开销较重的 RL 工作负载中。
• 提供关于机器学习后端选择、执行模式和算法设计如何影响 RL 训练效率的可操作洞察。

提出的方法

• RL-Scope 使用 Python API 在高层代码中标注用户定义的操作，从而实现将底层 CPU 和 GPU 执行时间归因于这些语义单元。
• 它从 GPU 内核、CUDA API 调用、模拟器和机器学习后端收集跨栈性能分析数据，并将这些数据与高层标注相关联，实现端到端的可追溯性。
• 该工具实现了基于校准的纠正机制，将性能分析开销导致的 CPU 时间膨胀减少至真实开销的 16.0% 以内，从而实现准确的运行时间归因。
• 它支持多种机器学习后端（如 PyTorch、TensorFlow）和模拟器，且无需重新编译，从而实现与 RL 框架的广泛兼容性。
• 它利用 NVTX 注解并集成到低层性能分析系统（如 Nsight）中，但避免使用封闭源代码的分析后端，以实现完整的校准与纠正。
• 它通过聚合和关联不同栈层级的性能分析数据（包括高层代码、机器学习后端与 GPU 内核之间的转换），支持离线分析。

实验结果

研究问题

• RQ1 为何在 PyTorch 和 TensorFlow 中实现的等效 RL 代码在训练运行时间上存在 2.34×10^15× 的差异？哪些系统级因素导致了这种差异？
• RQ2 RL 算法的选择（在线策略 vs. 离线策略）如何影响模拟计算与 GPU 计算时间的平衡？
• RQ3 在 RL 工作负载中，标准 GPU 利用率指标在多大程度上高估了实际的 GPU 计算时间？其原因是什么？
• RQ4 用于记录性能数据的书面对账代码的性能分析开销如何导致 RL 工作负载训练时间膨胀？是否可以实现准确的纠正？
• RQ5 机器学习后端执行模式（如 Eager 与 Graph/Autograph）在决定 RL 训练整体效率方面起到何种作用？

主要发现

• 与 TensorFlow Eager 实现相比，同一 Eager 执行模型的 PyTorch 实现最快可快 4.76×10^6×，主要归因于机器学习后端中更少的抽象和开销。
• 相同 RL 算法在 PyTorch 和 TensorFlow 中的等效实现之间，运行时间差异高达 2.34×10^15×，主要由于 TensorFlow 中算法实现过度抽象化。
• 在线策略 RL 算法的模拟计算时间至少是离线策略算法的 3.48×10^6×，表明模拟开销主导了其训练时间。
• 在扩展规模的工作负载中，常见的 GPU 利用率指标可能将实际 GPU 计算时间高估高达 1.9×，导致性能评估产生误导。
• 用于记录性能数据的书面对账代码的性能分析开销可使 RL 工作负载的总训练时间膨胀高达 1.9×，但 RL-Scope 可将其纠正至真实开销的 16.0% 以内。
• 该工具揭示了 RL 工作负载在本质上比监督学习工作负载更少受 GPU 限制，大量时间消耗在 CPU 侧模拟、高层 Python 执行和 CUDA API 调用上。