[论文解读] Reverb: A Framework For Experience Replay

Albin Cassirer, Gabriel Barth-Maron+5 more|arXiv (Cornell University)|Feb 9, 2021

Reinforcement Learning in Robotics参考文献 18被引用 6

一句话总结

Reverb 是一个可扩展、高效且可扩展的强化学习经验回放系统，专为支持数千名并发执行者和学习者而设计。它支持灵活的回放策略（例如，优先级、FIFO、LIFO），在插入速率高达每秒60,000笔或采样速率高达每秒600,000笔时，可实现线性吞吐量扩展，主要受限于网络带宽和插入工作负载中的互斥锁争用。

ABSTRACT

A central component of training in Reinforcement Learning (RL) is Experience: the data used for training. The mechanisms used to generate and consume this data have an important effect on the performance of RL algorithms. In this paper, we introduce Reverb: an efficient, extensible, and easy to use system designed specifically for experience replay in RL. Reverb is designed to work efficiently in distributed configurations with up to thousands of concurrent clients. The flexible API provides users with the tools to easily and accurately configure the replay buffer. It includes strategies for selecting and removing elements from the buffer, as well as options for controlling the ratio between sampled and inserted elements. This paper presents the core design of Reverb, gives examples of how it can be applied, and provides empirical results of Reverb's performance characteristics.

研究动机与目标

• 解决在分布式强化学习系统中高效存储和传输大规模经验数据所面临的日益严峻的挑战。
• 在单一统一系统中无缝支持多种回放策略（如优先级经验回放、FIFO、LIFO）。
• 在分布式强化学习训练设置中，支持高吞吐量、低延迟的数据插入与采样，适用于数千名并发客户端。
• 对采样与插入的数据元素比例提供细粒度控制，这对于调整离策略和同策略算法的训练动态至关重要。
• 将数据存储与传输与算法逻辑解耦，使研究人员能够在不更改基础设施组件的情况下扩展实验规模。

提出的方法

• 通过 gRPC 基础的 API 暴露接口，供客户端写入和读取原始张量数据，隐藏底层存储细节。
• 将数据组织为“块”（Chunks）——批量压缩的经验转移序列，提升存储与传输效率。
• 将数据表示为二维表格，行代表数据元素，列代表字段（张量），实现结构化访问并支持高效压缩。
• 实现灵活的表抽象，通过可配置策略支持多种回放策略（如均匀采样、优先级采样、FIFO、LIFO）。
• 通过分片和并发访问模式在多台机器和客户端之间实现扩展，高负载下性能下降最小。
• 通过减少采样路径中的互斥锁争用，优化低延迟采样，在分片配置下将 QPS 性能提升高达 200%。

实验结果

研究问题

• RQ1 如何设计经验回放系统，使其在分布式强化学习训练中可高效扩展至数千名并发执行者和学习者？
• RQ2 单一系统在无需架构变更的情况下，能在多大程度上支持多种回放策略（如 PER、FIFO、LIFO）？
• RQ3 在高吞吐量经验回放系统中，性能瓶颈是什么，如何缓解？
• RQ4 系统在客户端负载增加时如何保持线性扩展？其吞吐量受何限制？
• RQ5 在分布式并发环境中，能否有效控制采样与插入数据元素的比例？这对训练稳定性有何影响？

主要发现

• Reverb 在插入和采样方面均达到最高 11 GB/s 吞吐量，表明网络带宽是主要性能瓶颈。
• 在最多 200 名并发客户端下，插入和采样工作负载均实现线性扩展，且在过载情况下无性能下降。
• 最大插入 QPS 受互斥锁争用限制，通过分片可缓解该问题，使吞吐量提升约 200%。
• 采样吞吐量最高可达每秒 600,000 项，显著高于插入的每秒 60,000 项，得益于针对互斥锁争用的针对性优化。
• 系统在 400 字节至 400 KB 的广泛数据负载尺寸范围内保持一致性能，表现出强健性与适应性。
• Reverb 使研究人员能够使用相同配置运行最多数千名并发执行者和学习者的实验，实现无缝扩展，无需更改基础设施。