[论文解读] Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions

Fernando Castañeda, Jason J. Choi+4 more|arXiv (Cornell University)|Aug 23, 2022

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

该论文提出了一种概率在线学习框架，通过嵌入高斯过程的控制屏障函数（GP-CBF）确保安全关键控制的递归可行性。通过将鲁棒、不确定性感知的CBF优化与事件触发式数据采集相结合，该方法即使在未探索区域中，也能以高概率保证安全集的前向不变性，同时动态确定何时需要新数据以维持安全。

ABSTRACT

Learning-based control has recently shown great efficacy in performing complex tasks for various applications. However, to deploy it in real systems, it is of vital importance to guarantee the system will stay safe. Control Barrier Functions (CBFs) offer mathematical tools for designing safety-preserving controllers for systems with known dynamics. In this article, we first introduce a model-uncertainty-aware reformulation of CBF-based safety-critical controllers using Gaussian Process (GP) regression to close the gap between an approximate mathematical model and the real system, which results in a second-order cone program (SOCP)-based control design. We then present the pointwise feasibility conditions of the resulting safety controller, highlighting the level of richness that the available system information must meet to ensure safety. We use these conditions to devise an event-triggered online data collection strategy that ensures the recursive feasibility of the learned safety controller. Our method works by constantly reasoning about whether the current information is sufficient to ensure safety or if new measurements under active safe exploration are required to reduce the uncertainty. As a result, our proposed framework can guarantee the forward invariance of the safe set defined by the CBF with high probability, even if it contains a priori unexplored regions. We validate the proposed framework in two numerical simulation experiments.

研究动机与目标

• 解决在线学习中控制系统的安全困境，即数据不足导致无法安全部署，但部署又为数据收集所必需。
• 通过引入高斯过程（GP）回归来建模控制屏障函数中的不确定性，弥合近似系统模型与真实动态之间的差距。
• 通过推导可用数据和系统动态的丰富性条件，确保安全关键控制器在所有时刻均保持可行性。
• 开发一种事件触发式数据采集策略，以确定何时需要新测量数据以维持递归可行性和安全性。
• 提供形式化高概率保证，确保即使在状态空间中事先未探索的区域，安全集也具有前向不变性。

提出的方法

• 利用高斯过程回归对控制屏障函数（CBF）进行重构，以建模系统动态中的不确定性，从而得到GP-CBF-SOCP（二阶锥规划）公式。
• 基于标量量 $ p $ 的符号引入可行性条件，该条件可判断在当前数据和模型不确定性下是否存在安全控制输入。
• 定义一种事件触发式数据采集机制，当 $ p \leq 0 $ 时激活，表示当前信息不足以保证安全，从而触发新的测量。
• 采用后验方差更新规则，确保新数据沿关键方向 $ e_{\dagger} $ 减少不确定性，从而随时间改善可行性。
• 利用强凸性和约束规范性，证明安全控制律具有局部利普希茨连续性，从而保证闭环轨迹的局部存在性与唯一性。
• 应用参数优化的理论结果，确保GP-CBF-SOCP保持可行性，并可实现实时计算安全控制输入。

实验结果

研究问题

• RQ1 在存在模型不确定性和有限数据的条件下，基于GP-CBF的安全控制器在何种条件下具有递归可行性？
• RQ2 如何形式化判断在在线学习过程中何时需要新数据采集以维持安全性？
• RQ3 我们能否以高概率保证即使在状态空间中事先未探索的区域，安全集也具有前向不变性？
• RQ4 何种数据采集策略可确保系统在提升模型置信度的同时保持安全？
• RQ5 GP回归与CBF的集成如何实现无需离线数据或完美模型的安全自适应学习？

主要发现

• 所提出的GP-CBF-SOCP仅在标量 $ p > 0 $ 时可行，其几何意义为CBF约束的超平面位于二阶锥的渐近线上方。
• 当 $ p \leq 0 $ 时，CBF约束变为不可行，表明需要新数据以恢复计算安全控制输入的能力。
• 基于 $ p $-条件的事件触发式数据采集确保系统仅在必要时收集数据，从而维持递归可行性和安全性。
• 在添加新数据点后，沿关键方向 $ e_{\dagger} $ 的后验方差减小，确保 $ \lambda_{\dagger} < 0 $，从而恢复可行性。
• 由于强凸性和约束规范性，安全控制输入 $ u_{\text{safe}} $ 具有局部利普希茨连续性，从而保证闭环系统的适定性。
• 由于采用了概率不确定性模型和自适应数据采集，即使在先前未探索的区域，也提供了安全集前向不变性的形式化高概率保证。