[论文解读] Reachability Analysis and Safety Verification for Neural Network Control Systems

Weiming Xiang, Taylor T. Johnson|arXiv (Cornell University)|May 25, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 42

一句话总结

这篇论文提出基于线性规划的方法来对前馈神经网络控制器的输出进行上界外推，并将其与ODE可达性结合以验证神经网络控制系统的安全性。

ABSTRACT

Autonomous cyber-physical systems (CPS) rely on the correct operation of numerous components, with state-of-the-art methods relying on machine learning (ML) and artificial intelligence (AI) components in various stages of sensing and control. This paper develops methods for estimating the reachable set and verifying safety properties of dynamical systems under control of neural network-based controllers that may be implemented in embedded software. The neural network controllers we consider are feedforward neural networks called multilayer perceptrons (MLP) with general activation functions. As such feedforward networks are memoryless, they may be abstractly represented as mathematical functions, and the reachability analysis of the network amounts to range (image) estimation of this function provided a set of inputs. By discretizing the input set of the MLP into a finite number of hyper-rectangular cells, our approach develops a linear programming (LP) based algorithm for over-approximating the output set of the MLP with its input set as a union of hyper-rectangular cells. Combining the over-approximation for the output set of an MLP based controller and reachable set computation routines for ordinary difference/differential equation (ODE) models, an algorithm is developed to estimate the reachable set of the closed-loop system. Finally, safety verification for neural network control systems can be performed by checking the existence of intersections between the estimated reachable set and unsafe regions. The approach is implemented in a computational software prototype and evaluated on numerical examples.

研究动机与目标

• 激励并形式化由神经网络控制器控制的动力系统的安全性关切。
• 开发一种将给定有界输入的MLP输出进行实际可行的上界外推的方法。
• 将神经网络可达性与系统（plant）可达集计算集成，以估计闭环可达性。
• 提供通过检查与不安全区域的交集来进行安全性验证的程序。

提出的方法

• 通过前馈MLP将神经网络表示为数学函数。
• 将神经网络输入空间离散化为超矩形集合的并集（超矩形集）。
• 在激活单调性假设下，将每个超矩形的输出估计转化为线性规划（LP）问题。
• 以逐层（MLP）方式通过网络层传播输入的上界外推，以获得输出的上界外推。
• 将MLP输出的上界外推与ODE/差分方程的可达性方法结合，以在一定时间范围内估计闭环可达集合。
• 将安全性验证表述为检查估计的可达集合与不安全区域是否不相交。

实验结果

研究问题

• RQ1 如何从有界输入出发，对具有通用激活函数的MLP的输出集合进行上界外推？
• RQ2 如何通过多层传播MLP输出的上界外推，以获得紧致的整体界限？
• RQ3 如何通过将MLP可达性与常规系统可达性耦合来分析神经网络控制的系统，从而估计闭环可达集合？
• RQ4 在何种条件下，可以通过使用计算得到的上界外推来检查与不安全区域的交集来进行安全性验证？

主要发现

• 开发了一种基于LP的算法，用于对具有一般激活函数的MLP的输出集合进行上界外推。
• 逐层方法使得将单层LP结果应用于多层网络成为可能。
• 该方法通过将MLP可达性与ODE/差分方程可达性相结合，产生可计算的闭环可达集合的上界外推。
• 提供了一个安全性验证程序，用于测试估计的可达集合与不安全区域之间的交集。
• 实现并在数值示例上评估了一个计算原型，以证明适用性。