[论文解读] SLM Lab: A Comprehensive Benchmark and Modular Software Framework for Reproducible Deep Reinforcement Learning

Keng Wah Loon, Laura Graesser+1 more|arXiv (Cornell University)|Dec 28, 2019

Reinforcement Learning in Robotics被引用 7

一句话总结

SLM Lab 是一个模块化、可复现的深度强化学习框架，将算法实现、超参数优化、并行训练和结果分析整合于单一代码库中。它支持在 77 个环境上进行可靠的基准测试，并引入了一种离散动作的 SAC 变体以及一种混合同步/异步训练方法，显著提升了强化学习研究中的可复现性和可扩展性。

ABSTRACT

We introduce SLM Lab, a software framework for reproducible reinforcement learning (RL) research. SLM Lab implements a number of popular RL algorithms, provides synchronous and asynchronous parallel experiment execution, hyperparameter search, and result analysis. RL algorithms in SLM Lab are implemented in a modular way such that differences in algorithm performance can be confidently ascribed to differences between algorithms, not between implementations. In this work we present the design choices behind SLM Lab and use it to produce a comprehensive single-codebase RL algorithm benchmark. In addition, as a consequence of SLM Lab's modular design, we introduce and evaluate a discrete-action variant of the Soft Actor-Critic algorithm (Haarnoja et al., 2018) and a hybrid synchronous/asynchronous training method for RL agents.

研究动机与目标

• 通过提供一个统一、模块化的软件框架，解决深度强化学习中的可复现性危机。
• 通过一致、模块化的代码设计，最小化实现差异，实现 RL 算法的可靠比较。
• 支持可扩展的并行训练，同时采用同步和异步执行策略。
• 在单一实验框架内，实现系统的超参数优化与结果分析。
• 扩展现有算法（如 SAC）在离散动作空间中的应用，并通过混合并行化方法提升训练效率。

提出的方法

• 围绕三个核心模块化组件构建 SLM Lab：算法（策略与损失逻辑）、网络（神经网络函数逼近器）和记忆（经验回放与数据处理）。
• 将 RL 算法实现为继承自基类的子类，确保一致的接口并最小化实现偏差。
• 同时支持同步（向量化环境）和异步（并行智能体训练）并行化，实现高效扩展。
• 使用配置文件将超参数与代码分离，支持系统的超参数搜索与可复现性。
• 集成实验追踪与可视化工具，支持结果分析与仪表板展示。
• 通过将原始连续动作形式化适配至离散动作空间，开发了 Soft Actor-Critic（SAC）的离散动作变体。

实验结果

研究问题

• RQ1 模块化软件框架是否能减少深度强化学习实验中的实现差异，提升可复现性？
• RQ2 当在单一、一致的代码库中实现时，主流 RL 算法在大量环境中的性能表现如何比较？
• RQ3 混合同步/异步训练策略是否能提升深度强化学习中的样本效率与训练稳定性？
• RQ4 与标准离散算法（如 DQN 或 PPO）相比，SAC 的离散动作变体性能特征如何？
• RQ5 统一框架在多大程度上能支持端到端工作流，包括超参数优化、并行训练与结果分析？

主要发现

• SLM Lab 实现了首次在 77 个环境上、基于单一代码库的全面深度强化学习算法基准测试，为算法比较提供了可靠基础。
• 模块化设计确保了 PPO 与 Actor-Critic 等算法之间的性能差异源于算法本身，而非实现偏差。
• 离散动作 SAC 变体在离散控制任务中表现出具有竞争力的性能，证明了框架在新算法变体上的可扩展性。
• 混合同步/异步训练方法提升了训练效率与稳定性，尤其在样本受限环境中表现显著。
• SLM Lab 通过种子控制会话、可配置的超参数搜索以及集成的结果可视化，实现了完整的可复现性。
• 该框架在功能上优于或匹配现有库，提供对基准测试、超参数优化与并行训练的原生支持。