[论文解读] Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark

Jiaming Ji, Borong Zhang+8 more|arXiv (Cornell University)|Oct 19, 2023

Reinforcement Learning in Robotics被引用 15

一句话总结

引入 Safety-Gymnasium，一种统一的 SafeRL 基准，基于 Gymnasium 和 Issac-Gym 的环境，以及一个 16-algorithm 的 SafePO 库，能够在具备向量输入与视觉输入的单智能体和多智能体任务中评估安全性能。

ABSTRACT

Artificial intelligence (AI) systems possess significant potential to drive societal progress. However, their deployment often faces obstacles due to substantial safety concerns. Safe reinforcement learning (SafeRL) emerges as a solution to optimize policies while simultaneously adhering to multiple constraints, thereby addressing the challenge of integrating reinforcement learning in safety-critical scenarios. In this paper, we present an environment suite called Safety-Gymnasium, which encompasses safety-critical tasks in both single and multi-agent scenarios, accepting vector and vision-only input. Additionally, we offer a library of algorithms named Safe Policy Optimization (SafePO), comprising 16 state-of-the-art SafeRL algorithms. This comprehensive library can serve as a validation tool for the research community. By introducing this benchmark, we aim to facilitate the evaluation and comparison of safety performance, thus fostering the development of reinforcement learning for safer, more reliable, and responsible real-world applications. The website of this project can be accessed at https://sites.google.com/view/safety-gymnasium.

研究动机与目标

• 推动安全强化学习成为现实世界中在自动系统与医疗等领域的安全关键部署所必需的研究方向。
• 提供一个全面、可扩展的基准套件（Safety-Gymnasium），覆盖单智能体、多智能体和基于视觉的任务，并具备多种安全约束。
• 提供一个覆盖 16 种前沿 SafeRL 方法的广泛算法库（SafePO），用于严格评估和比较。
• 通过详细描述环境、约束和性能元数据，促进社区验证与可重复性。

提出的方法

• 将 Safety-Gymnasium 开发为一个基于 Gymnasium 和 MuJoCo 的环境套件，包含基于视觉的组件和 Issac-Gym 组件，以处理高维任务。
• 在 Safety Gym 的任务基础上继承并扩展，增加更多代理、任务和安全约束，包括高维、基于视觉的变体。
• 呈现 Safety-Gymnasium 分类体系，包括机器人类型（Point、Car、Doggo、Racecar、Ant）和任务（Velocity、Run、Circle、Goal、Push、Button）。
• 定义安全约束（如 velocity、obstacles、hazards、sigwalls、vases、gremlins）并提供视图输入（RGB 和 RGB-D），以评估基于视觉的 SafeRL。
• 引入 SafePO，一种单文件风格的库，包含 16 种 SafeRL 算法，具有解耦实现，便于扩展和比较。

实验结果

研究问题

• RQ1 一个统一的 SafeRL 基准套件（Safety-Gymnasium）如何支持对单智能体和多智能体任务的安全性能进行全面评估？
• RQ2 在不同安全约束和任务复杂性下，来自 SafePO 的不同 SafeRL 算法的对比性能如何？
• RQ3 基于视觉的输入和高维环境如何影响 SafeRL 算法的安全性与效率？
• RQ4 在 SafeRL 基准测试中，为实现可重复性和社区验证，需要哪些指南和元数据？

主要发现

• Safety-Gymnasium 使在 54 个环境中进行评估成为可能，涵盖单智能体和多智能体设定，约束复杂度各异。
• SafeRL 算法在遵守安全约束的同时倾向于最大化奖励，在不同方法下会出现奖励与成本之间的显著权衡。
• 基于 Lagrangian 的方法可能出现振荡，而投影式方法可能实现不同的成本/奖励平衡；PID-Lagrangian 变体在保持性能的同时可以改善安全性。
• 基于视觉和 Issac-Gym 的环境显著加速数据收集，并使 SafeRL 实验更真实、可扩展。
• SafePO 提供强大的可扩展性和详细的日志/可视化，支持与现有 SafeRL 基准进行稳健比较。