[论文解读] The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification

Christian Tjandraatmadja, Ross Anderson+4 more|arXiv (Cornell University)|Jun 24, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用 38

一句话总结

引入更紧致的单神经元凸松弛，考虑多变量前激活输入，使得通过LP和传播方法进行更强的验证成为可能，并超越传统的 Delta 松弛 阻碍。

ABSTRACT

We improve the effectiveness of propagation- and linear-optimization-based neural network verification algorithms with a new tightened convex relaxation for ReLU neurons. Unlike previous single-neuron relaxations which focus only on the univariate input space of the ReLU, our method considers the multivariate input space of the affine pre-activation function preceding the ReLU. Using results from submodularity and convex geometry, we derive an explicit description of the tightest possible convex relaxation when this multivariate input is over a box domain. We show that our convex relaxation is significantly stronger than the commonly used univariate-input relaxation which has been proposed as a natural convex relaxation barrier for verification. While our description of the relaxation may require an exponential number of inequalities, we show that they can be separated in linear time and hence can be efficiently incorporated into optimization algorithms on an as-needed basis. Based on this novel relaxation, we design two polynomial-time algorithms for neural network verification: a linear-programming-based algorithm that leverages the full power of our relaxation, and a fast propagation algorithm that generalizes existing approaches. In both cases, we show that for a modest increase in computational effort, our strengthened relaxation enables us to verify a significantly larger number of instances compared to similar algorithms.

研究动机与目标

• 通过收紧凸松弛，超越单变量 Delta-relaxation 阻碍来改进神经网络验证。
• 开发使用多变量前激活输入以获得更强界限的单神经元松弛。
• 提供高效的分离例程，将指数不等式松弛纳入基于 LP 和传播的验证器。
• 设计利用 Elide 松弛的传播型（FastC2V）和基于 LP 的（OptC2V）算法。
• 在 ERAN 数据集网络上展示相较基线验证器的实证改进。

提出的方法

• 推导包含 ReLU、仿射前激活和输入界限的单神经元最紧凸松弛的显式线性不等式描述。
• 证明松弛 (Conv(S)) 可以指数级大，但可以线性时间内分离，便于实际使用。
• 引入 Elide 松弛，用多变量输入集合 S^i 的凸包替代显式前激活变量，从而得到 gamma_Elide。
• 开发两种算法：OptC2V，为利用完整 Elide 松弛的基于 LP 的验证器；FastC2V，为快速传播型验证器，利用 Elide 不等式动态更新界限。
• 提供一个分离过程，从 Elide 描述（6b）中识别违反的不等式并将其整合到向后/向前界限传播过程。

实验结果

研究问题

• RQ1 在神经网络验证中，能够考虑多变量前激活输入的收紧凸松弛超过传统的 Delta-relaxation 吗？
• RQ2 是否存在一种计算高效的分离方法来分离定义 Elide 凸松弛的指数级不等式以供实际使用？
• RQ3 利用 Elide 松弛的传播型和基于 LP 的验证器在标准数据集上是否比 Delta-relaxation 基线验证出更多鲁棒实例？
• RQ4 在可验证实例数量和时间方面，基于 Elide 的验证与 RefineZono 和 kPoly 等最先进方法相比如何？
• RQ5 在验证过程中使用新不等式动态更新界限函数的经验性影响是什么？

主要发现

方法	MNIST 6x100	MNIST 9x100	MNIST 6x200	MNIST 9x200	MNIST ConvS	MNIST ConvB	CIFAR-10 ConvS
DeepPoly	160	182	292	259	162	652	359
FastC2V	279	269	477	392	274	691	390
LP	201	223	344	307	242	743	373
OptC2V	429	384	601	528	436	771	398
RefineZono	312	304	341	316	179	648	347
kPoly	441	369	574	506	347	736	399
Upper bound	842	820	901	911	746	831	482

• Elide 松弛显著加强了单神经元松弛，超越 Delta-relaxation 且在单神经元松弛内绕过了凸性屏障。
• 存在一个显式的单元最紧凸松弛的线性不等式描述，最坏情况下不等式数量呈指数级，但存在线性时间的分离例程。
• 分离例程通过两种算法实现对指数描述的实用性：FastC2V（基于传播）和 OptC2V（基于 LP），均显示出更强的验证能力。
• 在 ERAN 数据集网络上的经验结果显示，FastC2V 验证的图像数量多于最强 Delta-relaxation 边界方法，并在若干网络上与 RefineZono 和 kPoly 竞争。
• OptC2V 和 Cut-to-Verify 基于 LP 的方法显著增加可验证图像数量，尽管单实例计算时间更高；总体上，基于 Elide 的方法在多种情况下优于 Delta-relaxation 基线。
• 跨越包含 MNIST 与 CIFAR-10 变体的网络，这些方法验证了更多的图像，并在验证率与计算时间之间展示了有利的权衡。