[论文解读] PRIMA: Precise and General Neural Network Certification via Multi-Neuron Convex Relaxations

Mark Niklas Müller, Gleb Makarchuk+3 more|arXiv (Cornell University)|Mar 5, 2021

Adversarial Robustness in Machine Learning参考文献 69被引用 13

一句话总结

PRIMA 是一种新颖的神经网络验证框架，通过使用多项式时间复杂度的计算几何算法进行多神经元凸松弛，实现了在各种激活函数和网络架构下的高精度认证。该框架在基于 Tanh 的网络上比以往工作多验证了高达 34% 的图像，并可在数分钟内精确验证一个真实世界的自动驾驶神经网络。

ABSTRACT

Formal verification of neural networks is critical for their safe and secure adoption in real-world applications. However, designing a precise and scalable verifier which can handle different activation functions, realistic network architectures and relevant specifications remains an open and difficult challenge. In this paper, we take a major step in addressing this challenge and present a new verification framework, called PRIMA. PRIMA is both (i) general: it handles any non-linear activation function, and (ii) precise: it computes precise convex approximations involving multiple neurons via novel convex hull approximation algorithms that leverage concepts from computational geometry. The algorithms have polynomial complexity, yield fewer constraints, and minimize precision loss. We evaluate the effectiveness of PRIMA on a variety of challenging image classifiers from prior work. Our results show that PRIMA is significantly more precise than state-of-the-art, verifying robustness for up to 14%, 30%, and 34% more images than existing work on ReLU-, Sigmoid-, and Tanh-based networks, respectively. Further, PRIMA enables, for the first time, precise verification of a realistic neural network for autonomous driving within a few minutes.

研究动机与目标

• 解决神经网络形式化验证的挑战，特别是针对需要安全与可靠性的实际应用。
• 克服现有验证器在精度、激活函数类型限制或复杂架构可扩展性方面的局限。
• 开发一种通用验证框架，支持任意非线性激活函数，同时保持高精度。
• 实现对真实世界深度神经网络（包括自动驾驶中使用的网络）的高效且精确的验证。

提出的方法

• 提出一种新颖的凸包近似算法，利用计算几何中的概念精确建模多神经元交互关系。
• 设计多项式时间算法以计算凸松弛，最大限度减少精度损失并减少约束数量。
• 将验证问题建模为使用多神经元松弛而非单神经元近似的凸优化问题。
• 将松弛框架集成到可扩展的验证流水线中，兼容标准深度学习架构和多种激活函数。
• 利用几何洞察收紧神经元输出的边界，提升鲁棒性认证的精度。
• 通过结合多神经元松弛与高效的分支定界或线性规划技术，实现对复杂网络的端到端验证。

实验结果

研究问题

• RQ1 一种通用验证框架是否能够在保持高精度的同时支持任意非线性激活函数？
• RQ2 与单神经元松弛相比，多神经元凸松弛在精度和可扩展性方面表现如何？
• RQ3 所提出的凸包近似算法是否能在不牺牲紧致性的情况下实现多项式时间复杂度？
• RQ4 该框架在真实世界大规模神经网络（如自动驾驶中使用的网络）中，鲁棒性验证的覆盖范围能达到多大程度？
• RQ5 在 ReLU、Sigmoid 和 Tanh 等不同激活函数下，PRIMA 的精度与当前最先进验证器相比如何？

主要发现

• 在基于 ReLU 的网络上，PRIMA 比现有方法多验证了高达 14% 的图像。
• 在基于 Sigmoid 的网络上，PRIMA 相较于以往工作将验证覆盖率提升了 30%。
• 在基于 Tanh 的网络上，PRIMA 在可验证图像数量上实现了 34% 的提升。
• PRIMA 可在数分钟内实现对一个真实自动驾驶神经网络的精确验证，这是此前未实现的能力。
• 所提出的凸包近似算法在实现多项式时间复杂度的同时，最小化了精度损失并减少了约束数量。
• 该框架在多种激活函数和复杂架构上展现出强大的泛化能力，且未牺牲性能。