[论文解读] OpenAI Gym

Greg Brockman, Vicki Cheung+5 more|arXiv (Cornell University)|Jun 5, 2016

Educational Games and Gamification被引用 632

一句话总结

OpenAI Gym 是一个强化学习基准工具包，提供具有统一接口的环境库以及一个用于分享和比较结果的网站。

ABSTRACT

OpenAI Gym is a toolkit for reinforcement learning research. It includes a growing collection of benchmark problems that expose a common interface, and a website where people can share their results and compare the performance of algorithms. This whitepaper discusses the components of OpenAI Gym and the design decisions that went into the software.

研究动机与目标

• 提供一个方便、 extensible 的具有统一接口的强化学习环境集合。
• 通过对环境进行版本控制并监控训练数据来实现可重复的基准测试。
• 通过社区记分板和 Writeups 鼓励代码、结果和可重复性的分享。
• 在评估RL算法时，平衡样本效率和最终性能的强调。

提出的方法

• 将环境定义为核心抽象，排除固定的代理接口以容纳不同的代理风格。
• 为环境配备 Monitor 以记录步骤、重置，并可选记录学习曲线的视频数据。
• 严格对环境进行版本控制以确保结果在更新后仍具有意义（例如 CartPole-v0 到 CartPole-v1）。
• 提供多样化的环境集合，包括经典控制、算法任务、通过 ALE 的 Atari 游戏、棋盘游戏和机器人模拟器（MuJoCo、Box2D、VizDoom）。
• 提供一个带有记分板的网站，用户可以提交结果、源代码链接和再现说明。

实验结果

研究问题

• RQ1 跨多样RL任务的统一接口如何促进对算法的公平比较？
• RQ2 哪些设计决策最能支持随时间的可重复性和有意义的基准测试？
• RQ3 一个由社区驱动的平台是否能在 RL 基准测试中有效地在学习进度、最终性能和资源使用之间取得平衡？
• RQ4 应该如何对环境进行版本控制和监控以防止对特定任务或版本的过拟合？

主要发现

• 以环境为中心的统一框架在保持对不同代理接口的灵活性的同时，支持多种RL问题。
• 版本控制与监控是确保可重复且可解释的基准测试结果的核心。
• 提供多样化的环境套件，涵盖经典控制、算法、Atari、棋盘游戏和机器人仿真。
• 该平台强调分享代码和写作以帮助可重复性，而不是在排行榜上争夺霸主地位。