[论文解读] PettingZoo: Gym for Multi-Agent Reinforcement Learning

Justin K. Terry, Benjamin Black+11 more|arXiv (Cornell University)|Sep 30, 2020

Reinforcement Learning in Robotics参考文献 35被引用 146

一句话总结

PettingZoo 引入一个通用的 Python API 和 Agent Environment Cycle (AEC) 模型，以标准化并加速 MARL 研究，解决基于 POSG/EFG 的 API 的局限性。

ABSTRACT

This paper introduces the PettingZoo library and the accompanying Agent Environment Cycle ("AEC") games model. PettingZoo is a library of diverse sets of multi-agent environments with a universal, elegant Python API. PettingZoo was developed with the goal of accelerating research in Multi-Agent Reinforcement Learning ("MARL"), by making work more interchangeable, accessible and reproducible akin to what OpenAI's Gym library did for single-agent reinforcement learning. PettingZoo's API, while inheriting many features of Gym, is unique amongst MARL APIs in that it's based around the novel AEC games model. We argue, in part through case studies on major problems in popular MARL environments, that the popular game models are poor conceptual models of games commonly used in MARL and accordingly can promote confusing bugs that are hard to detect, and that the AEC games model addresses these problems.

研究动机与目标

• 提出一个标准的、类似 Gym 的 MARL API，以提高可访问性、可互换性和可重复性。
• 引入 Agent Environment Cycle (AEC) 游戏模型，作为面向代码的 MARL 环境的更好概念契合。
• 演示 AEC 如何解决 POSG/EFG 基于 MARL 实现中出现的概念性和实际性错误。
• 提供多样化的默认环境库，并展示在各大库和课程中的采用情况。

提出的方法

• 定义 AEC 游戏模型，并证明其在双向上的等价性（AEC ⇔ POSG）。
• 将 PettingZoo API 设计得类似 Gym，同时支持多智能体、智能体死亡/创建，以及动态参与。
• 引入 agent_iter 和 last 方法来管理顺序智能体行动与观测奖励。
• 提供带有基于智能体的空间和低级访问的通用 API，以实现实验灵活性。
• 打包 63 个默认环境，并确保与主要 MARL 库的兼容性，以实现广泛采用。

实验结果

研究问题

• RQ1 基于 AEC 模型的 API 能否比基于 POSG/EFG 的 API 提供更直观、更健壮的 MARL 基础？
• RQ2 PettingZoo API 是否支持不同数量的智能体、智能体的创建/死亡以及动态参与，同时不引入竞争条件？
• RQ3 基于 AEC 的 API 与现有 MARL 库和环境的集成程度如何，对可重复性和错误的实际影响是什么？
• RQ4 在表示能力方面，AEC 游戏与 POSG 之间的关系是什么？

主要发现

• AEC 游戏提供更清晰的奖励归因并减少竞争条件错误，相较于 POSG 基于的 API。
• 每个 AEC 游戏都具有等效的 POSG，反之亦然，显示出相对于 POSG，AEC 的理论完备性。
• PettingZoo 提供一个类似 Gym 的 Python API，配备 agent_iter 和 last 以处理顺序智能体行动和动态智能体集合。
• 该库提供 63 个默认环境，并与主要 MARL 库集成，促进采用与教育。
• 案例研究展示了现有环境中由 POSG 引发的错误，而基于 AEC 的 API 可以防止这些错误。