[论文解读] Provably Bounding Neural Network Preimages

Suhas Kotha, Christopher Brix+3 more|arXiv (Cornell University)|Feb 2, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出INVPROP，一种基于GPU加速的、基于边界传播的算法，用于可证明地过度近似神经网络的原像——即识别所有产生在给定线性约束集合内的输出的输入。与先前方法不同，它避免使用线性规划求解器，并利用输出约束来收紧中间激活边界，使边界收紧程度最高达2500倍，验证速度比最先进方法快2.5倍，适用于控制和鲁棒性基准测试。

ABSTRACT

Most work on the formal verification of neural networks has focused on bounding the set of outputs that correspond to a given set of inputs (for example, bounded perturbations of a nominal input). However, many use cases of neural network verification require solving the inverse problem, or over-approximating the set of inputs that lead to certain outputs. We present the INVPROP algorithm for verifying properties over the preimage of a linearly constrained output set, which can be combined with branch-and-bound to increase precision. Contrary to other approaches, our efficient algorithm is GPU-accelerated and does not require a linear programming solver. We demonstrate our algorithm for identifying safe control regions for a dynamical system via backward reachability analysis, verifying adversarial robustness, and detecting out-of-distribution inputs to a neural network. Our results show that in certain settings, we find over-approximations over 2500x tighter than prior work while being 2.5x faster. By strengthening robustness verification with output constraints, we consistently verify more properties than the previous state-of-the-art on multiple benchmarks, including a large model with 167k neurons in VNN-COMP 2023. Our algorithm has been incorporated into the $α,\!β$-CROWN verifier, available at https://abcrown.org.

研究动机与目标

• 为解决逆验证问题：在满足线性约束条件下，过度近似导致指定输出集合的输入集合。
• 开发一种方法，利用输出约束在不依赖线性规划求解器的前提下收紧中间激活边界。
• 与现有验证框架（如α,β-CROWN）集成，以提升鲁棒性与安全性验证的精度。
• 通过识别安全与非安全输入区域，实现神经网络控制动力系统的后向可达性分析。
• 通过识别导致高置信度预测的输入区域，强化经认证的分布外（OOD）检测。

提出的方法

• INVPROP将边界传播推广至反向方向，将输出约束反向传播通过网络，以收紧中间层边界。
• 它使用一种新颖的反向传播方案，计算任意中间层的边界，同时整合输出约束。
• 该方法通过可微分的松弛技术避免线性规划，实现高效约束传播。
• 它统一了前向与逆向边界传播，支持与最先进工具（如α,β-CROWN）的集成。
• 该算法支持对所有层的边界进行迭代精炼，利用全局网络结构实现更紧的过度近似。
• 它支持GPU加速，并针对高维输入空间设计了可扩展性。

实验结果

研究问题

• RQ1 我们能否在不依赖线性规划的情况下，高效地过度近似神经网络输出集合的原像？
• RQ2 在反向传播框架中，如何利用输出约束来收紧中间激活边界？
• RQ3 INVPROP在安全关键控制系统的正式验证中，能在多大程度上提升精度与速度？
• RQ4 通过整合输出约束，INVPROP能否增强经认证的鲁棒性验证？
• RQ5 INVPROP能否用于识别导致高置信度预测的输入区域，从而实现经认证的OOD检测？

主要发现

• 在双积分器控制基准测试中，INVPROP的边界收紧程度比先前工作高出2500倍以上，同时验证速度提升2.5倍。
• 在6D四旋翼系统中，INVPROP生成的边界比先前方法紧257倍，且速度快3.29倍。
• 通过整合输出约束，该算法在鲁棒性验证方面表现更强，验证了比先前最先进方法更多的性质。
• INVPROP通过识别导致高置信度预测的输入区域，改善了经认证的OOD检测。
• 该方法已集成至α,β-CROWN验证器中，在VNN-COMP 2023中展示了在包含最多167k个神经元的大模型上的实际可扩展性。
• INVPROP的GPU加速特性及其对线性规划的零依赖，使其在迭代精炼场景下显著优于基于线性规划的替代方案。