[论文解读] Output Range Analysis for Deep Neural Networks

Souradeep Dutta, Susmit Jha+2 more|arXiv (Cornell University)|Sep 26, 2017

Adversarial Robustness in Machine Learning参考文献 10被引用 75

一句话总结

该论文介绍 Sherlock，一种将局部搜索与基于 MILP 的方法相结合的混合方法，用于计算对凸输入集的前馈 ReLU 网络的保证输出范围，并在合成与真实世界的验证场景中将其与 Reluplex 进行比较。

ABSTRACT

Deep neural networks (NN) are extensively used for machine learning tasks such as image classification, perception and control of autonomous systems. Increasingly, these deep NNs are also been deployed in high-assurance applications. Thus, there is a pressing need for developing techniques to verify neural networks to check whether certain user-expected properties are satisfied. In this paper, we study a specific verification problem of computing a guaranteed range for the output of a deep neural network given a set of inputs represented as a convex polyhedron. Range estimation is a key primitive for verifying deep NNs. We present an efficient range estimation algorithm that uses a combination of local search and linear programming problems to efficiently find the maximum and minimum values taken by the outputs of the NN over the given input set. In contrast to recently proposed "monolithic" optimization approaches, we use local gradient descent to repeatedly find and eliminate local minima of the function. The final global optimum is certified using a mixed integer programming instance. We implement our approach and compare it with Reluplex, a recently proposed solver for deep neural networks. We demonstrate the effectiveness of the proposed approach for verification of NNs used in automated control as well as those used in classification.

研究动机与目标

• 在安全关键和鲁棒性场景中，说明对神经网络的保证输出范围的需求。
• 为前馈 ReLU 网络在紧凑输入多面体上的范围估计问题给出定义。
• 提出一种混合算法，将基于梯度的局部搜索与基于 MILP 的全局搜索结合起来，以证明网络输出的上/下界。

提出的方法

• 将网络表示为线性映射和 ReLU 激活的组合，形成分段仿射、连续的全局函数 F。
• 将上/下界估计表述为一系列在局部活跃区域内的局部搜索（梯度上升/下降），并结合 MILP 可行性检查以实现全局改进。
• 在全局搜索中将 ReLU 非线性编码为混合整数线性程序中的二进制变量，以测试在输入多面体 P 内是否存在更高输出。
• 证明终止性和近似保证：该算法在容忍度 delta 下返回边界，且 u* ≤ u ≤ u*+delta。
• 在 Sherlock 工具中实现该方法，并在合成网络以及包括控制和 MNIST 风格分类任务在内的基准测试中与 Reluplex 进行比较。
• 讨论通过反向传播样链式规则计算梯度，以及利用局部活跃区域使线性规划上升步奏成为可能。

实验结果

研究问题

• RQ1 我们能否对深度 ReLU 网络在紧凑输入多面体上计算出紧确的保证输出范围？
• RQ2 混合局部搜索加 MILP 的方法是否优于纯粹的单一优化方法在范围估计上的表现？
• RQ3 该方法是否能扩展到拥有数百到数千个神经元的网络，同时保持准确性和实用性？
• RQ4 该方法是否适用于面向控制的网络以及图像分类鲁棒性分析？
• RQ5 相较于 Reluplex，在解出实例、速度和鲁棒性方面，Sherlock 在多样化网络稀疏性和规模下的表现如何？

主要发现

• Sherlock 将在局部活跃区域内的局部梯度上升与基于 MILP 的全局搜索相结合，以在公差 delta 下证明输出范围。
• 该方法的上界在真实最大值的 delta 误差内收敛，保证 u* ≤ u ≤ u*+delta。
• 在实验中，Sherlock 能扩展到大约 1500 个神经元的网络，并在大量随机与基准实例上优于 Reluplex。
• 在示例应用中，Sherlock 为非线性系统模型推导出紧凑的控制输入范围，并且能在 MNIST 风格分类中识别扰动引起的标签变化，支持鲁棒性分析。
• 经验证的结果表明网络稀疏度和总神经元数对性能有实质性影响，密集大规模网络对于 Sherlock 和 Reluplex 都具有挑战，尽管在给定时间限制下 Sherlock 更容易成功。