[论文解读] SuperSuit: Simple Microwrappers for Reinforcement Learning Environments

Justin K. Terry, Benjamin Black+1 more|arXiv (Cornell University)|Aug 17, 2020

Evolutionary Algorithms and Applications参考文献 8被引用 8

一句话总结

SuperSuit 是一个 Python 库，提供高效、可重用的 '微包装器'，用于强化学习环境中的观测、动作和奖励的预处理。它支持 Gym 和 PettingZoo 环境，提供常见包装器（如帧堆叠、奖励裁剪和观测归一化）的标准、高性能实现，同时通过 lambda 函数支持自定义转换，减少错误和开发开销。

ABSTRACT

In reinforcement learning, wrappers are universally used to transform the information that passes between a model and an environment. Despite their ubiquity, no library exists with reasonable implementations of all popular preprocessing methods. This leads to unnecessary bugs, code inefficiencies, and wasted developer time. Accordingly we introduce SuperSuit, a Python library that includes all popular wrappers, and wrappers that can easily apply lambda functions to the observations/actions/reward. It's compatible with the standard Gym environment specification, as well as the PettingZoo specification for multi-agent environments. The library is available at https://github.com/PettingZoo-Team/SuperSuit,and can be installed via pip.

研究动机与目标

• 解决 Gym 和 PettingZoo 环境中缺乏集中化、维护良好的强化学习包装器库的问题。
• 减少因研究项目中使用自定义、一次性包装器实现而引起的代码重复、错误和性能低效问题。
• 标准化并优化常见预处理技术（如帧堆叠、奖励裁剪和观测归一化），以提升可复现性和效率。
• 为单智能体和多智能体强化学习环境提供定制化包装器，包括智能体标识和动作空间填充等特定功能。
• 使研究人员能够通过 lambda 包装器轻松应用自定义转换，对观测、动作和奖励进行处理，提升灵活性而不影响性能。

提出的方法

• 该库将每个包装器实现为独立的无状态函数，接收一个环境并返回一个包装后的环境，确保模块化和清晰性。
• 支持强化学习中所有主要的预处理技术，包括帧跳过、帧堆叠、观测尺寸调整和奖励裁剪，并提供优化实现。
• 为多智能体环境提供专用包装器，如智能体标识、观测填充和动作空间填充，以处理异构或可变大小的观测。
• Lambda 包装器允许用户直接注入自定义函数到观测、动作或奖励中，实现可扩展性，而无需修改核心逻辑。
• 该库设计为与标准 Gym 和 PettingZoo 环境 API 兼容，确保与现有强化学习框架无缝集成。
• 所有包装器均注重性能，输出默认形状适合高效用于卷积神经网络（CNNs）。

实验结果

研究问题

• RQ1 如何在多样化环境中提升强化学习预处理包装器的可靠性和性能？
• RQ2 标准化、可重用的包装器对减少强化学习研究中的错误和开发时间有何影响？
• RQ3 一个统一的库能否有效支持单智能体（Gym）和多智能体（PettingZoo）环境，并提供一致、高性能的包装器？
• RQ4 基于 lambda 的包装器如何提升强化学习实验中的可扩展性和定制化能力？
• RQ5 标准化的预处理包装器在多大程度上能提升强化学习实验的可复现性和计算效率？

主要发现

• SuperSuit 提供了一个集中化、生产就绪的库，涵盖所有广泛使用的强化学习预处理包装器，减少了对自定义、易出错实现的依赖。
• 该库支持 Gym 和 PettingZoo 环境，确保在单智能体和多智能体强化学习研究中具有广泛的兼容性。
• 通过提供优化的可重用包装器（如帧堆叠和奖励裁剪），SuperSuit 提高了计算效率，减少了训练开销。
• Lambda 包装器的引入使研究人员能够轻松对观测、动作或奖励应用自定义转换，而无需编写样板代码。
• 该库的设计促进了模块化和调试便利性，每个包装器仅执行单一、明确定义的功能。
• SuperSuit 可通过 pip 获取，并托管在 GitHub 上，确保对整个强化学习研究社区的可访问性和可维护性。