[论文解读] Statistical Verification of Neural Networks

Stefan Webb, Tom Rainforth+2 more|arXiv (Cornell University)|Nov 17, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用 1

一句话总结

本文提出了一种神经网络的统计验证框架，利用多级分裂技术在给定输入分布下估计属性违反的概率，实现可扩展的鲁棒性分析，并在检测到违反时提供形式化保证，即使未检测到违反也能提供可靠的概率估计——在可扩展性上优于形式化验证，同时在基准模型上保持了准确性。

ABSTRACT

We present a new approach to assessing the robustness of neural networks based on estimating the proportion of inputs for which a property is violated. Specifically, we estimate the probability of the event that the property is violated under an input model. Our approach critically varies from the formal verification framework in that when the property can be violated, it provides an informative notion of how robust the network is, rather than just the conventional assertion that the network is not verifiable. Furthermore, it provides an ability to scale to larger networks than formal verification approaches. Though the framework still provides a formal guarantee of satisfiability whenever it successfully finds one or more violations, these advantages do come at the cost of only providing a statistical estimate of unsatisfiability whenever no violation is found. Key to the practical success of our approach is an adaptation of multi-level splitting, a Monte Carlo approach for estimating the probability of rare events, to our statistical robustness framework. We demonstrate that our approach is able to emulate formal verification procedures on benchmark problems, while scaling to larger networks and providing reliable additional information in the form of accurate estimates of the violation probability.

研究动机与目标

• 为解决形式化验证在评估神经网络鲁棒性时的可扩展性限制。
• 在给定输入分布下，提供神经网络属性违反概率的统计基础估计。
• 实现对传统形式化验证方法无法处理的更大规模神经网络的分析。
• 在检测到违反时提供有信息量的鲁棒性度量，而非仅返回二值的“不可验证”结果。
• 在检测到违反时保持形式化正确性保证，同时在未检测到违反时提供概率估计。

提出的方法

• 该方法在指定输入模型下，使用蒙特卡洛采样估计属性违反的概率。
• 采用多级分裂技术，一种罕见事件概率估计方法，以高效计算低概率违反事件。
• 该框架集成统计置信区间，量化估计违反概率的不确定性。
• 当至少检测到一个违反时，提供形式化验证保证，确保此类情况下的正确性。
• 该方法通过避免传统形式化方法中典型的组合爆炸问题，实现对更大规模网络的可扩展性。
• 在基准问题上模拟形式化验证，同时扩展到传统方法无法进行精确验证的更大规模网络。

实验结果

研究问题

• RQ1 统计方法是否能在形式化验证的极限之外，提供可靠且可扩展的神经网络鲁棒性估计？
• RQ2 多级分裂技术在多大程度上能准确估计神经网络中属性违反的概率？
• RQ3 尽管该框架具有概率性质，但在检测到违反时是否仍能保持形式化保证？
• RQ4 与传统形式化验证相比，该方法在多大程度上可扩展到更大规模的神经网络？
• RQ5 当未检测到违反时，该方法是否仍能提供有意义的鲁棒性度量，例如估计的违反概率？

主要发现

• 所提出的方法在基准问题上成功模拟了形式化验证，实现了相当的违反检测能力。
• 该方法可扩展至传统形式化验证技术无法处理的更大规模神经网络。
• 当检测到违反时，该框架提供形式化正确性保证，保持了验证的严谨性。
• 在未检测到违反的情况下，该方法提供统计上可靠的违反概率估计，提供可操作的鲁棒性洞察。
• 多级分裂技术的使用实现了对罕见事件概率的准确估计，这对鲁棒性评估至关重要。
• 该方法提供可靠且富有信息量的鲁棒性度量，包括置信区间，显著增强了模型评估的实际应用价值。