[论文解读] Safety-Critical Modular Deep Reinforcement Learning with Temporal Logic through Gaussian Processes and Control Barrier Functions

Mingyu Cai, Cristian-Ioan Vasile|arXiv (Cornell University)|Sep 7, 2021

Advanced Control Systems Optimization参考文献 55被引用 4

一句话总结

该论文提出了一种安全关键的模块化深度强化学习框架，通过整合线性时序逻辑（LTL）规范、高斯过程用于不确定性建模，以及指数控制障碍函数（ECBFs），确保在连续状态和动作空间中实现安全探索和高概率满足复杂任务。该方法在机器人环境的训练过程中实现了近乎完美的成功率，并具备强大的安全保证。

ABSTRACT

Reinforcement learning (RL) is a promising approach and has limited success towards real-world applications, because ensuring safe exploration or facilitating adequate exploitation is a challenges for controlling robotic systems with unknown models and measurement uncertainties. Such a learning problem becomes even more intractable for complex tasks over continuous space (state-space and action-space). In this paper, we propose a learning-based control framework consisting of several aspects: (1) linear temporal logic (LTL) is leveraged to facilitate complex tasks over an infinite horizons which can be translated to a novel automaton structure; (2) we propose an innovative reward scheme for RL-agent with the formal guarantee such that global optimal policies maximize the probability of satisfying the LTL specifications; (3) based on a reward shaping technique, we develop a modular policy-gradient architecture utilizing the benefits of automaton structures to decompose overall tasks and facilitate the performance of learned controllers; (4) by incorporating Gaussian Processes (GPs) to estimate the uncertain dynamic systems, we synthesize a model-based safeguard using Exponential Control Barrier Functions (ECBFs) to address problems with high-order relative degrees. In addition, we utilize the properties of LTL automatons and ECBFs to construct a guiding process to further improve the efficiency of exploration. Finally, we demonstrate the effectiveness of the framework via several robotic environments. And we show such an ECBF-based modular deep RL algorithm achieves near-perfect success rates and guard safety with a high probability confidence during training.

研究动机与目标

• 解决在动态未知且存在测量不确定性的情况下，机器人系统中深度强化学习的安全探索与利用问题。
• 通过使用线性时序逻辑（LTL）规范形式化复杂、长时程任务，实现在连续空间中的任务执行。
• 设计一种奖励塑造机制，通过新颖的自动机结构，保证全局最优策略能最大化满足LTL规范的概率。
• 通过高斯过程和指数控制障碍函数（ECBFs）实现基于模型的安全性，尤其适用于高阶相对度系统。
• 通过基于LTL自动机结构和ECBF约束引导的模块化策略梯度架构，提升样本效率和策略性能。

提出的方法

• 利用线性时序逻辑（LTL）编码复杂、无限时域任务，并将其转化为新颖的自动机结构，以指导策略学习。
• 设计一种奖励塑造方案，正式保证最优策略能最大化满足LTL规范的概率。
• 开发一种模块化策略梯度架构，利用自动机结构分解整体任务，以提升学习效率和控制器性能。
• 采用高斯过程（GPs）对不确定的系统动态进行建模，并实时估计模型不确定性。
• 引入指数控制障碍函数（ECBFs），构建基于模型的安全层，确保即使在高阶相对度系统中也能满足约束条件。
• 构建一个引导过程，利用LTL自动机特性与ECBF约束，加速安全探索并提升样本效率。

实验结果

研究问题

• RQ1 如何有效编码并利用LTL规范，以指导连续状态和动作空间中的深度强化学习？
• RQ2 能否设计一种奖励塑造机制，正式保证最优策略能最大化满足LTL规范的概率？
• RQ3 模块化策略梯度架构在复杂机器人控制任务中如何提升学习性能与可扩展性？
• RQ4 高斯过程与指数控制障碍函数如何协同确保高阶相对度系统的安全性？
• RQ5 LTL自动机结构与ECBF约束的集成在多大程度上提升了深度强化学习中探索的效率与安全性？

主要发现

• 所提出的框架在多个机器人控制环境中实现了近乎完美的成功率，表现出极高的任务完成可靠性。
• ECBFs与高斯过程的集成确保了训练过程中安全探索与约束满足的高概率置信度。
• 与非模块化基线相比，模块化策略梯度架构显著提升了学习效率与性能。
• 奖励塑造机制正式保证了全局最优策略能最大化满足LTL规范的概率。
• 基于LTL自动机与ECBF特性的引导过程加速了收敛并增强了样本效率。
• 该框架成功处理了高阶相对度系统，这是先前安全强化学习方法常未解决的挑战。