[论文解读] Safe Control Under Input Limits with Neural Control Barrier Functions

Simin Liu, Changliu Liu+1 more|arXiv (Cornell University)|Nov 20, 2022

Fault Detection and Control Systems被引用 4

一句话总结

本论文提出一种基于学习的方法，利用神经控制屏障函数（CBFs）在高维非线性系统中实现输入饱和下的安全控制，通过学习者-评论家框架迭代消除输入饱和问题，借助神经网络优化实现。该方法在10维四旋翼-摆系统中实现了近乎完美的安全性（99.4%–100%的安全轨迹），且无需依赖形式化可达性方法。

ABSTRACT

We propose new methods to synthesize control barrier function (CBF)-based safe controllers that avoid input saturation, which can cause safety violations. In particular, our method is created for high-dimensional, general nonlinear systems, for which such tools are scarce. We leverage techniques from machine learning, like neural networks and deep learning, to simplify this challenging problem in nonlinear control design. The method consists of a learner-critic architecture, in which the critic gives counterexamples of input saturation and the learner optimizes a neural CBF to eliminate those counterexamples. We provide empirical results on a 10D state, 4D input quadcopter-pendulum system. Our learned CBF avoids input saturation and maintains safety over nearly 100% of trials.

研究动机与目标

• 解决高维非线性系统中缺乏可扩展、通用的非饱和控制屏障函数（CBFs）合成方法的问题。
• 克服传统CBF控制器中输入饱和导致安全保证失效的关键限制。
• 开发一种自动化的、基于机器学习的CBF合成框架，减少人工干预并可扩展至复杂系统。
• 通过鲁棒性评估，在模型不确定性和随机动力学下确保安全性。
• 在具有挑战性的10维、4维输入非线性系统（四旋翼-摆）上验证该方法的有效性。

提出的方法

• 将CBF合成问题建模为神经网络训练问题，通过优化神经CBF以满足输入限制约束。
• 采用学习者-评论家架构：评论家识别输入饱和的反例，学习者更新神经CBF以消除这些反例。
• 训练损失强制CBF导数条件在有界控制集的所有输入上成立，从而确保安全集的不变性。
• 对状态输入（如将角速度转换为线速度）应用变量变换，以提升训练稳定性和收敛性。
• 该方法避免使用形式化可达性方法（如HJ可达性），以可扩展性为代价换取在高维系统中的适用性。
• 通过100万个状态样本估计安全集体积，并在模型失配和随机噪声下进行测试。

实验结果

研究问题

• RQ1 基于数据驱动的神经网络方法能否有效合成高维非线性系统中的非饱和CBFs？
• RQ2 学习者-评论家框架如何在复杂动力学中减少输入饱和，同时保持安全性？
• RQ3 在模型不确定性和随机扰动下，所学习CBF的实证安全性表现如何？
• RQ4 所学习的安全集体积与简单系统中的理论最大安全集相比如何？
• RQ5 该方法能否超越传统基于可达性方法的CBF合成限制？

主要发现

• 所提出方法在10维状态、4维输入的四旋翼-摆系统中，100万次轨迹中实现了接近100%的安全性，噪声方差为1%时安全性达99.42%。
• 在模型失配下，所学习的CBF仍保持安全性：当惯性被低估时安全性为99.66%，当被高估5倍时安全性为89.18%。
• 在2维倒立摆基准测试中，该方法生成的安全集体积达到理论最大值的93.47%，表明其相对于最优安全集的优异性能。
• 神经CBF框架在所有试验中成功避免了输入饱和，即使在传统方法失效的高维非线性动力学系统中亦然。
• 该方法对随机扰动表现出鲁棒性，随着噪声方差从1增加到10，安全性逐渐下降。
• 该方法在初始状态变量变换后无需任何人工干预，凸显其自动化潜力。