[论文解读] Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms

Akifumi Wachi, Wataru Hashimoto+2 more|arXiv (Cornell University)|Oct 5, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种广义安全探索（GSE）公式化方法及一种元算法MASE，通过将无约束强化学习算法与不确定性量化器相结合，确保在强化学习训练过程中以高概率保持安全。MASE即使在探索阶段也能保证不违反安全约束，在Safety Gym和网格世界基准测试中表现优于最先进方法，且未发生任何安全违规。

ABSTRACT

Safe exploration is essential for the practical use of reinforcement learning (RL) in many real-world scenarios. In this paper, we present a generalized safe exploration (GSE) problem as a unified formulation of common safe exploration problems. We then propose a solution of the GSE problem in the form of a meta-algorithm for safe exploration, MASE, which combines an unconstrained RL algorithm with an uncertainty quantifier to guarantee safety in the current episode while properly penalizing unsafe explorations before actual safety violation to discourage them in future episodes. The advantage of MASE is that we can optimize a policy while guaranteeing with a high probability that no safety constraint will be violated under proper assumptions. Specifically, we present two variants of MASE with different constructions of the uncertainty quantifier: one based on generalized linear models with theoretical guarantees of safety and near-optimality, and another that combines a Gaussian process to ensure safety with a deep RL algorithm to maximize the reward. Finally, we demonstrate that our proposed algorithm achieves better performance than state-of-the-art algorithms on grid-world and Safety Gym benchmarks without violating any safety constraints, even during training.

研究动机与目标

• 将现有的强化学习安全探索问题统一为一个广义的公式化框架。
• 开发一种元算法MASE，确保在训练过程中实现高概率安全，同时支持有效的策略优化。
• 通过提供理论保证和实证性能，弥合理论严谨的安全强化学习与实际深度强化学习应用之间的差距。
• 证明安全探索可以在不牺牲学习效率或奖励性能的前提下实现。
• 提供一个既支持理论分析又支持在安全关键环境中实际部署的框架。

提出的方法

• 将广义安全探索（GSE）问题公式化为一个统一框架，涵盖累积、状态和瞬时安全约束。
• 设计MASE作为元算法，将无约束强化学习算法与δ-不确定性量化器结合，以预测安全违规的发生。
• 实现两种变体：GLM-MASE使用广义线性模型实现理论安全性和近似最优性保证；GP-MASE结合高斯过程与深度强化学习，实现实际部署。
• 采用紧急停止机制强制执行安全，提前惩罚不安全动作，防止实际约束违规。
• 利用不确定性量化估算安全约束违规的概率，实现主动规避。
• 在变换后的MASE环境中利用TRPO进行策略优化，确保在安全约束下实现稳定学习。

实验结果

研究问题

• RQ1 是否能够通过统一公式化方法概括现有的强化学习安全探索问题？
• RQ2 元算法是否能够在保持强大学习性能的同时，确保训练过程中的高概率安全？
• RQ3 将不确定性量化与紧急停止机制结合，是否能够实现无约束违规的安全探索？
• RQ4 MASE在安全性和奖励性能方面与最先进安全强化学习算法相比表现如何？
• RQ5 在Safety Gym等复杂高维环境中，理论安全保证是否仍能维持？

主要发现

• MASE在Safety Gym和网格世界基准测试的所有训练episode中均满足所有安全约束，即使在训练过程中也未发生任何违规，而基线方法频繁违反约束。
• MASE在累积奖励性能方面优于Sauté RL（一种最先进算法），同时保持了完美的安全合规性。
• TRPO、TRPO-Lagrangian和CPO基线方法在训练初期频繁违反安全约束。
• MASE收敛后的策略在累积奖励方面表现较差，作者将其归因于不确定性量化器和紧急停止机制的保守性。
• GLM-MASE在广义线性模型假设下提供了安全性和近似最优性的理论保证。
• GP-MASE成功将高斯过程不确定性估计与深度强化学习结合，实现了在高维环境中的实际部署。