[论文解读] Parallelization Techniques for Verifying Neural Networks

Haoze Wu, Alex Ozdemir+8 more|arXiv (Cornell University)|Apr 17, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 24

一句话总结

本文提出了一种基于分割与征服（S&C）算法的并行化神经网络验证框架，通过划分输入空间或ReLU激活阶段，实现可扩展的验证。通过引入基于极性的启发式方法和高度可并行化的预处理步骤，该方法在大规模深度神经网络上显著提升了性能，超大规模实验表明在云平台上的100多个工作节点上实现了强线性加速。

ABSTRACT

Inspired by recent successes with parallel optimization techniques for solving Boolean satisfiability, we investigate a set of strategies and heuristics that aim to leverage parallel computing to improve the scalability of neural network verification. We introduce an algorithm based on partitioning the verification problem in an iterative manner and explore two partitioning strategies, that work by partitioning the input space or by case splitting on the phases of the neuron activations, respectively. We also introduce a highly parallelizable pre-processing algorithm that uses the neuron activation phases to simplify the neural network verification problems. An extensive experimental evaluation shows the benefit of these techniques on both existing benchmarks and new benchmarks from the aviation domain. A preliminary experiment with ultra-scaling our algorithm using a large distributed cloud-based platform also shows promising results.

研究动机与目标

• 解决安全关键应用中神经网络验证的可扩展性限制。
• 利用并行计算加速具有ReLU激活函数的深度神经网络的正式验证。
• 通过新颖的划分与启发式策略，提升Marabou验证框架的性能。
• 实现高效、高度并行化的复杂验证问题简化与求解。
• 在真实世界基准上评估该方法，并在云基础设施上展示其超大规模可扩展性。

提出的方法

• 分割与征服（S&C）算法通过分割输入域或ReLU神经元的激活阶段来划分验证问题。
• 提出了两种新颖的划分策略：基于输入的划分和基于ReLU相位的分支拆分。
• 采用基于极性的分支启发式方法指导划分决策，提升搜索效率。
• 基于极性的方向启发式有助于在搜索过程中优先处理更有希望的分支。
• 提出了一种高度可并行化的预处理算法，通过消除冗余约束和神经元来简化验证问题。
• 该方法在Marabou框架内实现，并使用现有及新引入的航空领域基准进行评估。

实验结果

研究问题

• RQ1 基于输入空间或ReLU激活阶段的划分能否提升神经网络验证的可扩展性？
• RQ2 基于极性的启发式方法在验证过程中引导搜索空间的效率如何？
• RQ3 预处理能否实现并行化，从而显著降低验证问题的复杂度？
• RQ4 S&C方法在大规模分布式云平台上的可扩展性达到何种程度？
• RQ5 所提出方法与Neurify等最先进工具及先前Marabou版本相比表现如何？

主要发现

• 基于输入的S&C方法在具有大量输入的大规模感知网络上优于原始Marabou。
• 基于极性的启发式方法减少了搜索空间的探索，提升了求解效率。
• 预处理算法显著简化了验证问题，且具有高度可并行性。
• 在Amazon Lambda上的超大规模实验表明，超过100个工作者时实现了强线性加速，显示出极佳的水平可扩展性。
• 改进后的Marabou实现相较于Neurify在具有挑战性的基准上表现更优，尤其在高输入网络中优势明显。
• 该框架在现有及新引入的航空领域基准上均表现出一致的性能提升。