[论文解读] Scaling the Convex Barrier with Sparse Dual Algorithms

Alessandro De Palma, Harkirat Behl+3 more|arXiv (Cornell University)|Jan 14, 2021

Adversarial Robustness in Machine Learning参考文献 38被引用 5

一句话总结

本文提出了两种新颖的对偶算法——活动集法与鞍点法，可高效求解ReLU神经网络的紧致、指数级约束的线性松弛问题，显著提升速度并获得比现成求解器更紧的界。通过利用活动集次梯度优化与Frank-Wolfe稀疏性，该方法实现GPU并行化、内存高效，并在任意时刻保持有效界，运行时间上优于Gurobi，同时在界的质量上匹配或超越其表现。

ABSTRACT

Tight and efficient neural network bounding is crucial to the scaling of neural network verification systems. Many efficient bounding algorithms have been presented recently, but they are often too loose to verify more challenging properties. This is due to the weakness of the employed relaxation, which is usually a linear program of size linear in the number of neurons. While a tighter linear relaxation for piecewise-linear activations exists, it comes at the cost of exponentially many constraints and currently lacks an efficient customized solver. We alleviate this deficiency by presenting two novel dual algorithms: one operates a subgradient method on a small active set of dual variables, the other exploits the sparsity of Frank-Wolfe type optimizers to incur only a linear memory cost. Both methods recover the strengths of the new relaxation: tightness and a linear separation oracle. At the same time, they share the benefits of previous dual approaches for weaker relaxations: massive parallelism, GPU implementation, low cost per iteration and valid bounds at any time. As a consequence, we can obtain better bounds than off-the-shelf solvers in only a fraction of their running time, attaining significant formal verification speed-ups.

研究动机与目标

• 为克服神经网络验证中的'凸性障碍'，通过高效求解Anderson等（2020）提出的紧致、指数级约束的线性松弛问题，实现突破。
• 设计对偶求解器，在保持Anderson等（2020）松弛紧致性的同时，可扩展至大规模网络。
• 通过GPU兼容的稀疏优化实现大规模并行与低每轮计算成本，确保任意时刻均存在有效界。
• 在完整验证中实现相较于原始方法与先前对偶方法的显著加速。
• 在分支定界框架中提供实用的、自适应的松散与紧致界之间的切换策略。

提出的方法

• 提出一种活动集次梯度方法，通过动态扩展一组小规模对偶变量，实现快速收敛与紧致界，且内存开销为线性。
• 提出Saddle Point，一种类似Frank-Wolfe的对偶求解器，通过利用迭代过程中固有的稀疏性，仅以线性内存处理指数级约束。
• 采用一种对偶初始化（Big-M）策略，其在松散松弛上的表现与现有对偶求解器相当，从而支持紧致界下的热启动。
• 基于原始最小化器设计分离 oracle，用于在每轮迭代中识别最违反的约束，确保收敛至紧致松弛。
• 设计GPU可并行化的实现，保持大规模并行性与低每轮计算成本，支持实时界更新。
• 提出一种自适应策略，用于在分支定界过程中动态切换不同界计算算法，平衡速度与精度。

实验结果

研究问题

• RQ1 对偶求解器能否在不产生禁止性内存开销的前提下，高效处理Anderson等（2020）提出的紧致线性松弛所包含的指数级约束？
• RQ2 活动集与Frank-Wolfe风格对偶方法能否在显著更快的运行时间下，获得比Gurobi等现成求解器更紧的界？
• RQ3 所提求解器在计算预算与硬件（如GPU）变化时，其性能在不完整与完整验证场景下的可扩展性如何？
• RQ4 变量选择策略与更新频率对活动集求解器收敛性与界紧致性的影响如何？
• RQ5 一种在松散与紧致界算法间动态切换的混合方法，能否提升整体验证效率？

主要发现

• 在CIFAR-10网络上，活动集与鞍点法在单一切割下运行时间不足Gurobi的十分之一，且获得更优的界。
• 在MNIST对抗训练网络上，两种求解器在平均时间上均匹配或超越Gurobi的Planet松弛界，尽管其与Gurobi单一切割界的差距更大。
• 随着计算预算增加，活动集与鞍点法的性能差距缩小，若使用早期活动集迭代结果进行初始化，该差距进一步减小。
• 活动集法中采用随机变量选择仅带来相较于Planet界的小幅改进，而所提出的变量选择准则则带来显著增益，证明其有效性。
• 求解器对超参数选择具有鲁棒性：改变切削减除频率（ω）对界质量影响极小，尤其在迭代次数增加后更为明显。
• 在分支定界过程中，对不同界计算算法的自适应切换策略显著提升了完整验证速度，证明其在真实验证流水线中的实用价值。