[论文解读] Reachable Set Estimation for Neural Network Control Systems: A Simulation-Guided Approach

Weiming Xiang, Hoang-Dung Tran+2 more|arXiv (Cornell University)|Apr 26, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用 4

一句话总结

该论文提出了一种基于仿真引导与区间算术的仿真方法，用于对具有通用激活函数的前馈神经网络的可达集进行过近似，从而实现对闭环神经网络控制系统的高效安全验证。通过将仿真引导的输出集估计与微分方程可达性分析相结合，该方法相比先前方法将计算成本降低了97%，并在机械臂和自适应巡航控制系统中成功实现了安全验证。

ABSTRACT

The vulnerability of artificial intelligence (AI) and machine learning (ML) against adversarial disturbances and attacks significantly restricts their applicability in safety-critical systems including cyber-physical systems (CPS) equipped with neural network components at various stages of sensing and control. This paper addresses the reachable set estimation and safety verification problems for dynamical systems embedded with neural network components serving as feedback controllers. The closed-loop system can be abstracted in the form of a continuous-time sampled-data system under the control of a neural network controller. First, a novel reachable set computation method in adaptation to simulations generated out of neural networks is developed. The reachability analysis of a class of feedforward neural networks called multilayer perceptrons (MLP) with general activation functions is performed in the framework of interval arithmetic. Then, in combination with reachability methods developed for various dynamical system classes modeled by ordinary differential equations, a recursive algorithm is developed for over-approximating the reachable set of the closed-loop system. The safety verification for neural network control systems can be performed by examining the emptiness of the intersection between the over-approximation of reachable sets and unsafe sets. The effectiveness of the proposed approach has been validated with evaluations on a robotic arm model and an adaptive cruise control system.

研究动机与目标

• 为应对由于对抗鲁棒性与黑箱特性带来的神经网络控制系统安全验证挑战。
• 开发一种针对具有通用激活函数的多层感知机（MLPs）的高效、可靠输出可达集过近似方法。
• 将神经网络可达性分析与连续时间动力系统分析相结合，实现闭环安全验证。
• 在保持可靠性和准确性的前提下，降低可达集估计的计算成本。
• 在真实控制系统（如机械臂和自适应巡航控制）上验证该方法。

提出的方法

• 提出一种基于仿真的方法，利用区间算术与敏感性分析，对前馈神经网络的输出可达集进行过近似。
• 将输出集估计建模为四个基于最大敏感性的凸优化问题，通过仿真引导避免不必要的计算。
• 对于连续时间动力系统，使用 CORA 工具进行采样区间内的 ODE 可达性分析。
• 采用递归算法将神经网络输出过近似与 ODE 可达性分析相结合，计算闭环系统的可达集。
• 通过检查过近似可达集与不安全集之间的交集是否为空，执行安全验证。
• 将该方法应用于采样数据神经网络控制器模型，结合仿真引导与基于区间的神经网络分析。

实验结果

研究问题

• RQ1 基于仿真的方法能否高效地对具有通用激活函数的前馈神经网络的输出可达集进行过近似？
• RQ2 如何在保持可靠性的前提下降低神经网络可达集估计的计算成本？
• RQ3 所提方法能否实现对闭环神经网络控制系统的有效安全验证？
• RQ4 与先前基于仿真的方法相比，该方法在效率与准确性方面有多大的性能提升？
• RQ5 该方法在真实控制系统（如机械臂和自适应巡航控制）中的可扩展性与安全验证能力如何？

主要发现

• 所提的仿真引导方法在机械臂示例中，将计算成本降低至先前基于仿真方法[10]的3%，同时获得相同的区间可达性结果。
• 该方法成功验证了自适应巡航控制系统的安全性，表明在5秒时间范围内相对距离始终高于安全阈值。
• 可视化了ACC系统中前车与本车的可达集估计结果，确认其与不安全区域无交集。
• 通过结合区间算术与仿真引导，该方法能够实现可靠的闭环系统可达集过近似，从而支持安全验证。
• 该方法具有通用性，适用于多种激活函数，且可扩展至ReLU网络及其他网络架构。
• 代码实现已公开发布于 https://github.com/xiangweiming/ignnv，支持可复现性与进一步研究。