[论文解读] Specification-Guided Safety Verification for Feedforward Neural Networks

Weiming Xiang, Hoang-Dung Tran+1 more|arXiv (Cornell University)|Dec 14, 2018

Adversarial Robustness in Machine Learning参考文献 11被引用 10

一句话总结

该论文提出了一种基于规范引导的安全验证方法，用于具有通用激活函数的前馈神经网络，通过区间分析高效计算输出区间。该方法通过利用安全规范指导分割决策，显著降低计算成本，在机器人臂控制和MNIST图像分类任务中，相比先前工作计算量减少了93–97%。

ABSTRACT

This paper presents a specification-guided safety verification method for feedforward neural networks with general activation functions. As such feedforward networks are memoryless, they can be abstractly represented as mathematical functions, and the reachability analysis of the neural network amounts to interval analysis problems. In the framework of interval analysis, a computationally efficient formula which can quickly compute the output interval sets of a neural network is developed. Then, a specification-guided reachability algorithm is developed. Specifically, the bisection process in the verification algorithm is completely guided by a given safety specification. Due to the employment of the safety specification, unnecessary computations are avoided and thus the computational cost can be reduced significantly. Experiments show that the proposed method enjoys much more efficiency in safety verification with significantly less computational cost.

研究动机与目标

• 解决缺乏针对具有通用激活函数的前馈神经网络的正式安全验证方法的问题。
• 通过利用安全规范指导分割过程，降低现有验证方法的高计算成本。
• 为前馈网络的输出集合开发一种计算高效的区间计算公式。
• 实现在机器人控制和图像识别等实际应用中的可扩展安全验证。
• 在控制系境和图像分类任务中验证该方法的有效性，并提供对抗鲁棒性保证。

提出的方法

• 在区间算术框架内构建安全验证问题，将神经网络输出表示为区间集合。
• 通过逐层区间传播，开发一种计算高效的公式，实现输出区间集合的快速计算。
• 提出一种规范引导的分割算法，其中分割决策完全由计算出的输出区间与不安全区域的交集决定。
• 利用安全规范剪枝不必要的分区，避免冗余计算，提升效率。
• 递归应用该算法，仅对输出区间与不安全集合相交的区域进行细化。
• 采用区间算术和分段线性逼近方法，处理通用激活函数，无需限制为ReLU或特定非线性函数。

实验结果

研究问题

• RQ1 规范引导方法是否能显著降低具有通用激活函数的前馈神经网络安全验证的计算成本？
• RQ2 该方法在验证实际控制系统（如机器人臂）的安全属性方面效果如何？
• RQ3 该方法在图像分类任务中对对抗扰动的鲁棒性验证能力达到何种程度？
• RQ4 该方法在保持形式化保证和低计算开销的前提下，能否扩展到更大规模网络？
• RQ5 与传统的非引导验证方法相比，该规范引导的分割策略在效率和准确性方面表现如何？

主要发现

• 所提方法将计算成本降低至基线方法[3]的3–7%，计算时间最高减少93%。
• 在机器人臂安全验证任务中，仅需15个输入区间即可证明安全性，而基线方法需729个区间。
• 该方法验证了训练好的MNIST分类器在图像左上角3×3扰动下的鲁棒性，同时保持97.5%的准确率。
• 相比之下，网络在相同位置对4×4扰动被证明不具备鲁棒性，证实了该方法检测漏洞的能力。
• 在机器人臂案例中，该方法仅用0.27秒完成验证，展现出极高的效率。
• 该方法成功验证了所有5000张MNIST测试图像在3×3扰动下的鲁棒性，证实了其在数据集上的泛化能力。