[论文解读] MushroomRL: Simplifying Reinforcement Learning Research

Carlo D’Eramo, Davide Tateo+3 more|arXiv (Cornell University)|Jan 4, 2020

Evolutionary Algorithms and Applications参考文献 6被引用 35

一句话总结

MushroomRL 是一个开源的 Python 库，旨在通过模块化、可扩展的框架和丰富的现成基线，简化实现和运行强化学习实验，覆盖浅层和深度 RL。

ABSTRACT

MushroomRL is an open-source Python library developed to simplify the process of implementing and running Reinforcement Learning (RL) experiments. Compared to other available libraries, MushroomRL has been created with the purpose of providing a comprehensive and flexible framework to minimize the effort in implementing and testing novel RL methodologies. Indeed, the architecture of MushroomRL is built in such a way that every component of an RL problem is already provided, and most of the time users can only focus on the implementation of their own algorithms and experiments. The result is a library from which RL researchers can significantly benefit in the critical phase of the empirical analysis of their works. MushroomRL stable code, tutorials and documentation can be found at https://github.com/MushroomRL/mushroom-rl.

研究动机与目标

• 提供一个灵活、易于理解的 RL 框架，使算法之间对环境的交互统一起来。
• 通过提供一整套现成可用的基线，涵盖浅层、在线、离线、基于策略、离策略，以及 Deep RL，来减少实现工作量。
• 通过轻量级接口和最少的代码需求，促成快速的经验分析与实验。
• 通过在一个清晰结构化的库中允许研究人员添加新算法来促进扩展。
• 通过展示真实世界用例和教程来证明其实用性，展示复杂的 RL 实验。

提出的方法

• 描述 MushroomRL 的强模块化架构及其针对各种 RL 任务的统一接口。
• 展示与标准 Python 库（NumPy、SciPy、scikit-learn、Gym、MuJoCo、PyTorch 等）的兼容性，以便集成现有工具。
• 提供一个最小化的面向用户的 API，隐藏低级细节，同时提示用户确保一致性（例如环境/状态空间的兼容性）。
• 通过将新算法添加到 mushroom_rl/algorithms 并使用简单脚本运行实验，说明如何实现和测试新算法。
• 通过一个 Atari DQN 的示例脚本展示高级用法，证明对复杂 RL 工作流的处理（学习、评估、保存/加载，以及并行实验）。
• 强调工具支持（回调、绘图、通过 joblib 的并行执行）以促进经验分析。

实验结果

研究问题

• RQ1 单一、统一的接口如何在不同任务形式下（批处理/在线、回合制/连续、基于策略/离策略）同时支持浅层与深度 RL？
• RQ2 与现有库相比，MushroomRL 是否能减少开发工作量并提升 RL 实验的可扩展性和可重复性？
• RQ3 在 MushroomRL 的框架内实现、测试和比较新颖的 RL 算法是否切实可行？
• RQ4 MushroomRL 在促进如 Atari 风格基准和 DQN 变体等复杂实验方面的效果如何？
• RQ5 MushroomRL 对经验 RL 研究工作流的速度与可靠性有何影响？

主要发现

• MushroomRL 在一个统一框架内提供广泛、可直接使用的 RL 和 Deep RL 方法。
• 实验可以用最少的代码编写，且不需要深度配置，从而加快经验工作。
• 该库支持复杂用例（例如 Atari DQN），并展示了如何为学习与评估来组织实验。
• 用户可以通过在代码库的专用区域中添加新算法来轻松扩展该库。
• 它与常见的库和工具集成，便于灵活的数据收集、绘图和并行实验。
• 文档、教程和稳定的代码库被强调为支持可靠经验分析的一部分。