[论文解读] Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking

Fabio Pardo|arXiv (Cornell University)|Nov 15, 2020

Evolutionary Algorithms and Applications被引用 9

一句话总结

Tonic 是一个模块化、可配置的深度强化学习库，旨在实现连续控制算法的快速原型设计与公平基准测试。该库使研究人员能够通过可重用组件轻松实现和评估新智能体，支持 PyTorch 和 TensorFlow 2，并包含一个大规模基准，涵盖 70 个环境中的 8 个基线智能体，具备可复现的训练与评估流程。

ABSTRACT

Deep reinforcement learning has been one of the fastest growing fields of machine learning over the past years and numerous libraries have been open sourced to support research. However, most codebases have a steep learning curve or limited flexibility that do not satisfy a need for fast prototyping in fundamental research. This paper introduces Tonic, a Python library allowing researchers to quickly implement new ideas and measure their importance by providing: 1) general-purpose configurable modules 2) several baseline agents: A2C, TRPO, PPO, MPO, DDPG, D4PG, TD3 and SAC built with these modules 3) support for TensorFlow 2 and PyTorch 4) support for continuous-control environments from OpenAI Gym, DeepMind Control Suite and PyBullet 5) scripts to experiment in a reproducible way, plot results, and play with trained agents 6) a benchmark of the provided agents on 70 continuous-control tasks. Evaluation is performed in fair conditions with identical seeds, training and testing loops, while sharing general improvements such as non-terminal timeouts and observation normalization. Finally, to demonstrate how Tonic simplifies experimentation, a novel agent called TD4 is implemented and evaluated.

研究动机与目标

• 解决基础深度强化学习研究中缺乏灵活、模块化且易于扩展的代码库的问题。
• 提供一个统一框架，简化新强化学习算法的实现与公平比较。
• 通过标准化的训练与评估循环、一致的超参数设置，以及诸如观测值归一化和非终止超时等改进措施，实现可复现的实验。
• 通过将核心算法组件解耦为可配置、可插拔的模块，支持快速原型设计。
• 建立一个大规模基准，包含 70 个连续控制环境和每个智能体 10 个随机种子，以实现新算法的公平性能比较。

提出的方法

• 设计基于配置的架构，将核心组件（如神经网络、回放缓冲区、探索策略）模块化，并通过 Python 字典进行可配置化。
• 使用共享的可重用模块实现 8 个标准连续控制智能体（A2C、TRPO、PPO、MPO、DDPG、D4PG、TD3、SAC），以确保一致性和可读性。
• 通过统一接口支持 PyTorch 和 TensorFlow 2，实现框架无关的实验。
• 集成三个核心脚本：`train` 用于运行实验并实现可复现的日志记录，`plot` 用于跨多个智能体和环境可视化结果，`play` 用于在仿真中与训练好的策略进行交互。
• 适配来自 OpenAI Gym、DeepMind Control Suite 和 PyBullet 的环境，以确保与 Tonic 训练流程和基准设置的兼容性。
• 利用 Python 的解释性求值机制，通过命令行参数实现对智能体、环境和训练器的动态配置，提升灵活性与可扩展性。

实验结果

研究问题

• RQ1 一个模块化、可配置的深度强化学习库是否能显著减少新强化学习算法原型设计与评估所需的工作量？
• RQ2 在相同训练与评估条件下，标准基线智能体在 70 个多样化连续控制环境中的表现如何？
• RQ3 共享改进措施（如观测值归一化、非终止超时）在多大程度上影响了基准比较的可复现性与公平性？
• RQ4 在 Tonic 框架中，新智能体的实现与评估有多容易？
• RQ5 Tonic 基准能否作为连续控制任务中新强化学习算法比较的可靠、标准化基线？

主要发现

• Tonic 通过模块化、可配置的组件架构，将核心算法逻辑与可重用模块分离，显著提升了新强化学习智能体的快速实现能力。
• 该库的训练、绘图和推理脚本支持完全可复现的实验，具备一致的日志记录、超参数设置和评估协议。
• 基准包含来自 OpenAI Gym、DeepMind Control Suite 和 PyBullet 的 70 个连续控制环境，每个智能体配置 10 个随机种子，确保了性能评估的稳健性与公平性。
• 新型智能体 TD4 的实现证明了该库在新算法原型设计中的易用性，仅需极少代码修改即可完成。
• `plot` 脚本支持跨多个智能体和环境的结果并排可视化，具备正则表达式过滤功能和可自定义的图像设置。
• `play` 脚本支持与训练好的策略进行实时交互，包括在 PyBullet 和 DeepMind Control Suite 环境中支持扰动操作，有助于策略分析与调试。