[论文解读] Reach-SDP: Reachability Analysis of Closed-Loop Systems with Neural Network Controllers via Semidefinite Programming

Haimin Hu, Mahyar Fazlyab+2 more|arXiv (Cornell University)|Apr 16, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 6

一句话总结

该论文提出了一种基于半定规划的新方法——Reach-SDP，用于具有神经网络控制器的线性时变系统在闭环状态下的前向可达性分析。通过使用二次约束（quadratic constraints）对非线性激活函数和投影算子进行抽象，该方法计算可达集的外逼近，从而实现有限时间内的安全性和约束满足性验证。这是首个针对此类系统的凸优化方法，已在倒立摆系统和六自由度四旋翼机模型上得到验证。

ABSTRACT

There has been an increasing interest in using neural networks in closed-loop control systems to improve performance and reduce computational costs for on-line implementation. However, providing safety and stability guarantees for these systems is challenging due to the nonlinear and compositional structure of neural networks. In this paper, we propose a novel forward reachability analysis method for the safety verification of linear time-varying systems with neural networks in feedback interconnection. Our technical approach relies on abstracting the nonlinear activation functions by quadratic constraints, which leads to an outer-approximation of forward reachable sets of the closed-loop system. We show that we can compute these approximate reachable sets using semidefinite programming. We illustrate our method in a quadrotor example, in which we first approximate a nonlinear model predictive controller via a deep neural network and then apply our analysis tool to certify finite-time reachability and constraint satisfaction of the closed-loop system.

研究动机与目标

• 为解决闭环系统中神经网络控制器缺乏形式化安全与稳定性保证的问题。
• 开发一种可扩展的、基于凸优化的可达性分析方法，以处理非线性和控制约束。
• 实现在神经网络控制动力系统中有限时间内的安全性与约束满足性验证。
• 将可达性分析扩展至包含投影算子以及扇区有界/斜率受限非线性性的系统。
• 为复杂非线性控制系统提供一种计算上可行的精确可达性方法替代方案。

提出的方法

• 该方法将非线性激活函数和控制投影算子抽象为二次约束（QCs），从而实现系统动态的凸松弛。
• 将可达集计算形式化为一个半定规划（SDP），利用 S-过程（S-procedure）和合同变换（congruence transformations）以保持系统结构。
• 采用一个基向量，结合状态、激活和控制变量，以表示神经网络的输入-输出行为。
• 应用扇区有界和斜率受限的非线性条件，将 ReLU 等激活函数的行为限制在凸约束范围内。
• 通过求解单个 SDP 计算前向可达集的外逼近，避免了迭代流管构造或分段多项式逼近。
• 支持具有线性时变动力学和受凸约束的控制输入的系统，包括状态和执行器限制。

实验结果

研究问题

• RQ1 能否使用二次约束对神经网络控制器中的非线性激活函数和投影算子进行抽象，以实现凸可达性分析？
• RQ2 如何利用半定规划计算闭环系统中神经网络控制器的可达集的外逼近？
• RQ3 与精确方法或分段多项式方法相比，该方法在验证安全性和约束满足性方面的精度与可扩展性如何？
• RQ4 该方法能否验证具有复杂非线性动力学和控制约束的系统在有限时间内的可达性与约束满足性？
• RQ5 该方法在四旋翼机等实际控制系统中，对学习得到的控制器，其适用范围有多大？

主要发现

• Reach-SDP 成功计算了倒立摆系统的前向可达集的外逼近，验证了在椭球状初始状态集合内，所有初始状态均能在 1 秒内到达目标区域，且满足状态约束。
• 对于六自由度四旋翼机模型，该方法验证了在椭球状初始状态集合 𝒳₀ 内的所有初始状态均能在 1 秒内到达 (px, py, pz) 空间中的目标集合 𝒢，且同时满足状态和执行器约束。
• 该方法在无需精确系统模型的情况下完成验证，仅依赖于一个近似非线性模型预测控制（MPC）控制器的神经网络策略。
• 计算得到的可达集被证明外逼近了真实的可达集，图 3 和图 4 的可视化对比结果确认了其保守但有效的过逼近特性。
• 该方法在具有复杂控制约束和非线性动力学的高维系统（六自由度四旋翼机）上表现出良好的可扩展性与计算可行性。
• 这是首个基于凸优化的闭环系统可达性分析方法，适用于神经网络控制器，为学习型控制策略的形式化验证迈出了重要一步。