[论文解读] Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach

Subin Huh, Insoon Yang|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 18被引用 24

一句话总结

本文提出了一种无需模型的强化学习框架，通过将基于李雅普诺夫的安全部约束与概率可达性分析相结合，确保随机系统中的概率安全性。该方法通过基于价值函数的李雅普诺夫函数构建一系列逐步改进的安全策略，实现安全探索并收敛至最大安全集，通过拉格朗日松弛法扩展至深度强化学习，适用于高维控制任务。

ABSTRACT

Emerging applications in robotics and autonomous systems, such as autonomous driving and robotic surgery, often involve critical safety constraints that must be satisfied even when information about system models is limited. In this regard, we propose a model-free safety specification method that learns the maximal probability of safe operation by carefully combining probabilistic reachability analysis and safe reinforcement learning (RL). Our approach constructs a Lyapunov function with respect to a safe policy to restrain each policy improvement stage. As a result, it yields a sequence of safe policies that determine the range of safe operation, called the safe set, which monotonically expands and gradually converges. We also develop an efficient safe exploration scheme that accelerates the process of identifying the safety of unexamined states. Exploiting the Lyapunov shielding, our method regulates the exploratory policy to avoid dangerous states with high confidence. To handle high-dimensional systems, we further extend our approach to deep RL by introducing a Lagrangian relaxation technique to establish a tractable actor-critic algorithm. The empirical performance of our method is demonstrated through continuous control benchmark problems, such as a reaching task on a planar robot arm.

研究动机与目标

• 开发一种无需系统动力学知识的无模型强化学习方法，以确保随机系统中的安全性。
• 通过在策略改进和评估阶段嵌入李雅普诺夫约束，确保整个学习过程中的安全性。
• 通过聚焦于最不安全的策略来加速安全探索，从而高效扩展和优化安全集。
• 通过深度强化学习与拉格朗日松弛法结合，将方法扩展至高维系统，实现可处理的演员-评论家训练。
• 在连续控制基准任务上对方法进行实证验证，结果表明其在安全性与样本效率方面均优于基线方法。

提出的方法

• 使用基于价值函数的李雅普诺夫函数，在策略改进过程中强制执行安全约束，确保每次更新后的策略仍处于安全区域内。
• 采用贝尔曼递推关系，通过李雅普诺夫函数维持概率安全性保证，该函数限制了进入不安全状态的概率。
• 引入一种安全探索方案，选择最不安全的策略以优先探索状态空间中不确定或高风险的区域。
• 应用拉格朗日松弛法，将李雅普诺夫约束转换为正则化项，从而与标准的深度演员-评论家算法集成。
• 构建一个单调扩展的状态区域作为安全集，其中避免不安全状态的概率被最大化。
• 使用特定架构（如两层ReLU隐藏层）的深度神经网络实现该方法，并结合经验回放和奥恩斯坦-乌伦贝克噪声等训练技术以增强探索能力。

实验结果

研究问题

• RQ1 无模型强化学习方法是否能在不依赖系统动力学先验知识的前提下，确保整个学习过程中的安全性？
• RQ2 如何利用李雅普诺夫函数来限制随机系统中访问不安全状态的概率？
• RQ3 何种探索策略可在保持安全性的前提下，实现安全集的高效扩展？
• RQ4 如何有效将李雅普诺夫约束集成到高维控制任务的深度强化学习中？
• RQ5 所提出的方法是否能收敛至最大安全集，并在样本效率与安全性方面优于基线方法？

主要发现

• 所提方法通过在每个策略改进步骤中强制执行李雅普诺夫约束，确保了学习过程中的全程安全性，避免访问任何不安全状态。
• 在无近似误差假设下，安全集单调扩展并收敛至最大安全集。
• 针对最不安全策略的安全探索方案，加速了安全区域的识别与优化，从而提升了样本效率。
• 采用拉格朗日松弛法的深度强化学习实现，成功将该方法扩展至高维连续控制任务（如Reacher环境）。
• 在Reacher和积分器环境上的实证结果表明，该方法在安全性与收敛速度方面均优于基线方法。
• 即使在随机环境中，该方法仍能保持高度的安全置信度，李雅普诺夫屏蔽机制有效防止了向危险状态的探索。