[论文解读] Reachable Set Computation and Safety Verification for Neural Networks with ReLU Activations

Weiming Xiang, Hoang-Dung Tran+1 more|arXiv (Cornell University)|Dec 21, 2017

Adversarial Robustness in Machine Learning参考文献 15被引用 70

一句话总结

本论文提出了一种逐层方法来计算 ReLU 神经网络的精确输出可达集合，以多面体并集的形式表达，并利用此对抗不安全输出区域进行安全性验证。

ABSTRACT

Neural networks have been widely used to solve complex real-world problems. Due to the complicate, nonlinear, non-convex nature of neural networks, formal safety guarantees for the output behaviors of neural networks will be crucial for their applications in safety-critical systems.In this paper, the output reachable set computation and safety verification problems for a class of neural networks consisting of Rectified Linear Unit (ReLU) activation functions are addressed. A layer-by-layer approach is developed to compute output reachable set. The computation is formulated in the form of a set of manipulations for a union of polyhedra, which can be efficiently applied with the aid of polyhedron computation tools. Based on the output reachable set computation results, the safety verification for a ReLU neural network can be performed by checking the intersections of unsafe regions and output reachable set described by a union of polyhedra. A numerical example of a randomly generated ReLU neural network is provided to show the effectiveness of the approach developed in this paper.

研究动机与目标

• 为安全关键系统中的神经网络提供正式的安全性保证的动机。
• 开发一个逐层方法来计算带有 ReLU 激活的网络的输出可达集合。
• 将可达集合表示为多面体的并集，以实现精确的安全性验证。
• 通过检查可达集合与不安全区域的交集来实现安全性验证。

提出的方法

• 将神经网络建模为带 ReLU 激活的多层感知机，并表达各层映射。
• 证明 ReLU 的输出集合可以分解为三种情况（正、零、混合），从而得到多面体的并集。
• 推导每一层输出集合的闭式构造，作为多面体的并集。
• 通过递归复合将单层结果扩展到多层网络，保持多面体并集结构。
• 将安全性验证表述为检查可达集合与不安全区域的交集是否为空。
• 提供输出可达集合计算、ReLU 网络可达性和 VeriReLU 网络验证的算法。

实验结果

研究问题

• RQ1 给定一个由多面体并集合描述的输入集合，如何计算 ReLU 神经网络的输出可达集合？
• RQ2 可否在各层将可达集合精确地表述为多面体的并集，从而实现可靠的安全性验证？
• RQ3 如何通过检查输出可达集合与不安全区域的交集来进行安全性验证？
• RQ4 为了在网络中保持可处理的多面体表示，需要哪些逐层约束和变换？
• RQ5 该方法如何从单个 ReLU 单元扩展到多层网络？

主要发现

• ReLU 的输出可以被精确地表述为三种情况的并集，从而得到可达集合的多面体并集。
• 对于描述为多面体并集合的输入集合，ReLU 的输出可达集合在每个分支上也是多面体的并集。
• 逐层传播保持多面体并集结构，使整个网络的可达性成为精确的。
• 安全性验证简化为检查输出可达集合与不安全区域的交集，由于精确的可达性，结论具有可信度。
• 该框架可推广到具有多层的网络，并且可以在同一形式中处理线性（非 ReLU）层。