[论文解读] Safety Verification of Deep Neural Networks

Xiaowei Huang, Marta Kwiatkowska+2 more|arXiv (Cornell University)|Oct 21, 2016

Adversarial Robustness in Machine Learning被引用 14

一句话总结

本文提出了一种基于SMT的深度神经网络验证框架，通过系统性地探索输入邻域，全面检测对抗性样本——即导致误分类的最小扰动——从而确保图像分类任务中的安全性。该方法保证在指定输入区域内检测到对抗性样本，相较于启发式搜索方法，提供了针对指定扰动空间的完整性和形式化验证保证。

ABSTRACT

Deep neural networks have achieved impressive experimental results in image classification, but can surprisingly be unstable with respect to adversarial perturbations, that is, minimal changes to the input image that cause the network to misclassify it. With potential applications including perception modules and end-to-end controllers for self-driving cars, this raises concerns about their safety. We develop a novel automated verification framework for feed-forward multi-layer neural networks based on Satisfiability Modulo Theory (SMT). We focus on safety of image classification decisions with respect to image manipulations, such as scratches or changes to camera angle or lighting conditions that would result in the same class being assigned by a human, and define safety for an individual decision in terms of invariance of the classification within a small neighbourhood of the original image. We enable exhaustive search of the region by employing discretisation, and propagate the analysis layer by layer. Our method works directly with the network code and, in contrast to existing methods, can guarantee that adversarial examples, if they exist, are found for the given region and family of manipulations. If found, adversarial examples can be shown to human testers and/or used to fine-tune the network. We implement the techniques using Z3 and evaluate them on state-of-the-art networks, including regularised and deep learning networks. We also compare against existing techniques to search for adversarial examples and estimate network robustness.

研究动机与目标

• 为解决在自动驾驶等关键应用中使用深度神经网络时的安全问题，其中微小的输入扰动可能导致误分类。
• 开发一种形式化验证方法，确保在定义的输入邻域内检测到对抗性样本，而非依赖于启发式搜索。
• 实现对输入扰动（如光照、角度或噪声变化）的全面、系统性探索，同时保持人类感知下的分类一致性。
• 提供一种形式化且保持完整性的方法，用于验证深度神经网络的鲁棒性，且无需访问训练数据。
• 在最先进网络（包括正则化和深层架构）上展示方法的可扩展性和有效性。

提出的方法

• 该框架使用满足模理论（SMT）来建模和验证前馈、多层神经网络在输入扰动下的行为。
• 将安全性定义为：在给定输入图像周围的小邻域内，网络输出类别的不变性，使用用户定义的范数和每个输入维度的区域直径。
• 该方法通过网络逐层传播约束，使用区间算术和SMT求解保持激活边界上的过度近似。
• 采用非确定性、迭代的操纵策略，探索输入扰动的完整阶梯树结构，确保在定义区域内覆盖所有可能的变化。
• 该方法支持对输入维度子集的选择性扰动，每个子集可具有不同的范数和直径，从而灵活建模真实的图像失真。
• 实现使用Z3 SMT求解器对网络的计算图执行符号推理，从而实现对抗性样本存在性的形式化验证。

实验结果

研究问题

• RQ1 形式化验证方法能否保证在定义的输入邻域内检测到深度神经网络的对抗性样本？
• RQ2 在真实图像操作（如光照或角度变化）下，如何为图像分类决策形式化定义安全性？
• RQ3 SMT-based技术能否为对抗性样本检测提供完整性保证，而不同于基于启发式优化的方法？
• RQ4 该方法在多大程度上可扩展至实际应用中使用的大型深度神经网络？
• RQ5 与现有对抗性样本搜索技术相比，该方法在有效性和完整性方面表现如何？

主要发现

• 该方法成功验证了最先进深度神经网络（包括正则化和深层架构）在真实图像数据集上的安全性。
• 在低维输入区域中，对抗性样本可在数秒内被检测到，证明了该方法在可管理输入空间中的可行性。
• 该框架保证完整性：如果在指定输入区域内存在对抗性样本，它将被找到，而启发式方法可能遗漏此类样本。
• 尽管在高维输入下计算开销较大，该方法在验证完整性和形式化保证方面仍优于现有基于优化的方法。
• 该方法可生成人类可解释的对抗性样本，用于模型调试和微调，从而增强模型鲁棒性。
• 性能受限于输入特征数量的指数级复杂度，但通过并行化和抽象细化技术存在潜在改进空间。