[论文解读] Safety-Critical Learning of Robot Control with Temporal Logic Specifications

Mingyu Cai, Cristian-Ioan Vasile|arXiv (Cornell University)|Sep 7, 2021

Receptor Mechanisms and Signaling被引用 4

一句话总结

该论文提出了一种基于线性时序逻辑（LTL）规范的安全关键型深度强化学习框架，用于机器人控制，结合高斯过程进行不确定性估计，并采用指数控制屏障函数（ECBFs）以确保安全探索。通过采用具有奖励塑造的安全引导过程的模块化策略梯度架构，该方法在连续状态的机器人任务中实现了近乎完美的成功率，并具备高概率的安全保证。

ABSTRACT

Reinforcement learning (RL) is a promising approach. However, success is limited to real-world applications, because ensuring safe exploration and facilitating adequate exploitation is a challenge for controlling robotic systems with unknown models and measurement uncertainties. The learning problem becomes even more difficult for complex tasks over continuous state-action. In this paper, we propose a learning-based robotic control framework consisting of several aspects: (1) we leverage Linear Temporal Logic (LTL) to express complex tasks over infinite horizons that are translated to a novel automaton structure; (2) we detail an innovative reward scheme for LTL satisfaction with a probabilistic guarantee. Then, by applying a reward shaping technique, we develop a modular policy-gradient architecture exploiting the benefits of the automaton structure to decompose overall tasks and enhance the performance of learned controllers; (3) by incorporating Gaussian Processes (GPs) to estimate the uncertain dynamic systems, we synthesize a model-based safe exploration during the learning process using Exponential Control Barrier Functions (ECBFs) that generalize systems with high-order relative degrees; (4) to further improve the efficiency of exploration, we utilize the properties of LTL automata and ECBFs to propose a safe guiding process. Finally, we demonstrate the effectiveness of the framework via several robotic environments. We show an ECBF-based modular deep RL algorithm that achieves near-perfect success rates and safety guarding with high probability confidence during training.

研究动机与目标

• 解决在具有未知动力学和测量不确定性的情况下，深度强化学习在机器人系统中安全探索的挑战。
• 在连续状态-动作空间中，实现通过线性时序逻辑（LTL）指定的复杂、高层级任务在无限时域内的学习。
• 在训练过程中通过基于模型的不确定性估计，将形式化方法（LTL）与数据驱动学习（深度强化学习）相结合，同时保证安全性。
• 开发一种安全引导过程，通过ECBFs和LTL自动机，在保持最优策略的同时强制执行安全约束。
• 在模型不确定性条件下，展示具有概率安全保证的高性能、安全控制。

提出的方法

• 将LTL规范转换为一种新型自动机结构（LDGBA），以表示复杂且无限时域的任务。
• 基于LTL自动机构建奖励塑造方案，以在深度强化学习中提供LTL满足的概率保证。
• 集成高斯过程（GPs）以在线估计不确定的机器人动力学，并提供概率置信区间。
• 采用指数控制屏障函数（ECBFs）以推广适用于高阶相对度系统的安全约束。
• 构建一种安全引导过程，利用LTL自动机结构和ECBF约束，引导探索向安全且高回报区域进行。
• 实施一种模块化的深度确定性策略梯度（DDPG）架构，通过任务分解提升学习效率与安全性。

实验结果

研究问题

• RQ1 如何在连续状态-动作空间中有效编码并学习通过线性时序逻辑（LTL）指定的复杂高层级机器人任务？
• RQ2 何种奖励塑造机制可确保在深度强化学习过程中LTL规范的概率满足？
• RQ3 如何通过概率置信区间在线估计机器人系统中的模型不确定性，以实现安全探索？
• RQ4 指数控制屏障函数（ECBFs）在何种方式下可推广至高阶相对度系统的安全约束？
• RQ5 安全引导过程是否能在深度强化学习训练期间保持最优策略，同时强制执行安全约束？

主要发现

• 所提出的框架在机器人控制任务中实现了近乎完美的成功率，并在训练过程中具备高概率的安全保证。
• LTL自动机与奖励塑造的结合，有效实现了在连续环境中对复杂、无限时域规范的学习。
• 使用高斯过程实现了对不确定动力学的在线非参数估计，并提供概率置信区间，从而实现稳健的基于模型的安全性。
• 指数控制屏障函数（ECBFs）成功将安全约束推广至高阶相对度系统，确保了安全探索。
• 安全引导过程通过利用LTL自动机和ECBF约束，保持了原始最优策略，防止行为偏离最优路径。
• 具有奖励塑造和安全层的模块化DDPG架构在多个机器人环境中表现出卓越的性能与安全性。