[论文解读] Scaling Polyhedral Neural Network Verification on GPUs

Christoph Müller, François Serre+3 more|arXiv (Cornell University)|Jul 20, 2020

Adversarial Robustness in Machine Learning被引用 15

一句话总结

GPUPoly 是一种基于 GPU 加速的神经网络验证器，采用自定义的、语义正确的多面体抽象域，实现了对大规模深度神经网络的可扩展且精确的鲁棒性认证。其速度相比先前方法最高提升 68,000 倍，并在仅 34.5 毫秒内验证了一个拥有 100 万神经元的 ResNet34，创下大规模模型多面体验证在可扩展性与精度方面的全新 SOTA 水平。

ABSTRACT

Certifying the robustness of neural networks against adversarial attacks is essential to their reliable adoption in safety-critical systems such as autonomous driving and medical diagnosis. Unfortunately, state-of-the-art verifiers either do not scale to bigger networks or are too imprecise to prove robustness, limiting their practical adoption. In this work, we introduce GPUPoly, a scalable verifier that can prove the robustness of significantly larger deep neural networks than previously possible. The key technical insight behind GPUPoly is the design of custom, sound polyhedra algorithms for neural network verification on a GPU. Our algorithms leverage the available GPU parallelism and inherent sparsity of the underlying verification task. GPUPoly scales to large networks: for example, it can prove the robustness of a 1M neuron, 34-layer deep residual network in approximately 34.5 ms. We believe GPUPoly is a promising step towards practical verification of real-world neural networks.

研究动机与目标

• 解决神经网络验证中的可扩展性-精度权衡问题，尤其针对超过 100 万个神经元的大规模模型。
• 在 GPU 硬件上利用多面体抽象域实现语义正确、浮点数精确的验证。
• 利用 GPU 的并行计算能力以及卷积网络和残差连接中的稀疏性，加速验证过程，超越基于 CPU 的方法。
• 实现对真实世界深度网络（包括大型残差架构）的实际验证时间。
• 在精度与可扩展性方面超越现有近似验证器，尤其在具有挑战性的大规模网络上表现更优。

提出的方法

• 设计针对 GPU 优化的自定义多面体算法，利用神经元与层之间的细粒度数据并行性。
• 实现内存高效的内存数据结构，通过稀疏感知表示将大型网络适配到有限的 GPU 内存中。
• 集成一个语义正确的浮点数语义模型，准确反映 GPU 浮点运算中的舍入模式与非结合性。
• 在回代过程中，一旦确认鲁棒性，立即提前终止，显著降低易验证样本的运行时间。
• 使用多面体抽象对 ReLU 激活输出进行上界逼近，从而在凸多面体上实现高效的线性规划。
• 利用卷积与残差连接中的稀疏性，降低计算负载并提升 GPU 资源占用率。

实验结果

研究问题

• RQ1 能否通过 GPU 加速将多面体验证扩展到大规模深度神经网络（如 100 万个神经元）？
• RQ2 在大规模网络上，GPUPoly 的精度与性能与当前最先进的近似验证器（如 CR-IBP 和 DeepPoly）相比如何？
• RQ3 GPU 并行计算与稀疏性利用在保持语义正确性的前提下，能在多大程度上减少验证时间？
• RQ4 早期终止启发式策略是否能在不牺牲正确性的前提下，显著降低鲁棒训练网络的运行时间？
• RQ5 GPUPoly 在浮点数运算下是否仍能保持语义正确性，包括对非结合性运算与不同舍入模式的正确建模？

主要发现

• GPUPoly 在约 34.5 毫秒内完成对 100 万个神经元、34 层的 ResNet34 的验证，展示了精确多面体验证前所未有的可扩展性。
• 在 PGD 训练的 CIFAR10 网络上，GPUPoly 证明了 1,299 项鲁棒性属性，而 CR-IBP 因缺乏对残差连接的支持而未能证明任何属性。
• 对于 DiffAI 训练的网络，尽管 CR-IBP 在这些网络上运行更快（因其固有的鲁棒性），GPUPoly 仍比其多证明了 420 项属性。
• 在 DiffAI 训练的 ResNet34 上，GPUPoly 比 DeepPoly 快达 68,000 倍，在正常训练的网络上也快达 250 倍。
• GPUPoly 的运行时间分布显示，在鲁棒训练网络上存在长尾现象，这是由于大多数样本通过早期终止大幅缩短了计算时间，仅有少数异常值需要完整计算。
• GPUPoly 在浮点数运算下保持了语义正确性，正确建模了非结合性与舍入行为，而某些先前的验证器则存在语义不正确的问题。