[论文解读] Provable Certificates for Adversarial Examples: Fitting a Ball in the Union of Polytopes

Matt Jordan, Justin Lewis+1 more|arXiv (Cornell University)|Mar 20, 2019

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出 GeoCert，一种通过在给定输入周围寻找最大 lp 球以保持网络预测类别，从而在所有凸 lp 范数下计算基于 ReLU 的深度神经网络精确逐点鲁棒性的方法。该方法利用多面体复形结构，高效计算收敛至精确值的紧致下界，在中等计算时间下优于先前工作，鲁棒性边界质量更优。

ABSTRACT

We propose a novel method for computing exact pointwise robustness of deep neural networks for all convex lp norms. Our algorithm, GeoCert, finds the largest lp ball centered at an input point x0, within which the output class of a given neural network with ReLU nonlinearities remains unchanged. We relate the problem of computing pointwise robustness of these networks to that of computing the maximum norm ball with a fixed center that can be contained in a non-convex polytope. This is a challenging problem in general, however we show that there exists an efficient algorithm to compute this for polyhedral complices. Further we show that piecewise linear neural networks partition the input space into a polyhedral complex. Our algorithm has the ability to almost immediately output a nontrivial lower bound to the pointwise robustness which is iteratively improved until it ultimately becomes tight. We empirically show that our approach generates a distance lower bounds that are tighter compared to prior work, under moderate time constraints.

研究动机与目标

• 开发一种可证明的方法，用于在所有凸 lp 范数下计算基于 ReLU 的神经网络的精确逐点鲁棒性。
• 解决在给定输入点为中心的 lp 球最大尺寸问题，该球仍位于同一输出类别区域内。
• 利用分段线性网络所诱导的多面体复形结构，实现鲁棒性证书的高效计算。
• 通过迭代改进鲁棒性的下界直至其变为紧致，确保正确性与收敛性。

提出的方法

• 该方法将鲁棒性问题建模为寻找以输入点为中心、完全包含于表示相同输出类别输入集合的非凸多面体内的最大范数球。
• 将其重新表述为在多面体复形内计算最大 lp 球的问题，利用 ReLU 网络将输入空间划分为此类结构的事实。
• 该算法采用迭代优化过程，从一个平凡的下界开始，通过求解一系列凸优化子问题逐步收紧该下界。
• 利用多面体紧集的几何特性，高效计算最大 lp 球，从而实现任意 lp 范数下的精确鲁棒性认证。
• 该方法依赖于具有相同输出类别的输入集合构成多个多面体的并集，且以 x₀ 为中心、位于该并集内的最大球定义了鲁棒性半径。
• 该方法设计高效且可扩展，在时间约束下仍能快速提供紧致边界。

实验结果

研究问题

• RQ1 我们能否通过几何方法，在所有凸 lp 范数下精确计算 ReLU 网络的逐点鲁棒性？
• RQ2 如何高效计算以给定输入为中心、且完全位于同一输出类别区域内的最大 lp 球？
• RQ3 ReLU 网络的何种结构特性使得通过多面体紧集实现高效鲁棒性认证成为可能？
• RQ4 我们能否推导出一种既可证明正确又计算高效的鲁棒性证书，以适用于实际部署？
• RQ5 与现有对抗鲁棒性方法相比，该方法在边界质量与计算时间方面表现如何？

主要发现

• GeoCert 通过在多面体紧集中求解几何包含问题，实现了在所有凸 lp 范数下对 ReLU 网络的精确逐点鲁棒性计算。
• 在中等时间约束下，该方法产生的鲁棒性下界比先前工作更紧致，展现出更优的实际应用价值。
• 该算法从一个立即可得的非平凡下界开始，通过迭代改进直至收敛至精确鲁棒性半径。
• ReLU 网络诱导的输入空间划分形成多面体复形，这使得鲁棒性问题能够以几何方式表述。
• 该方法具有通用性，适用于所有 lp 范数，因此在不同鲁棒性评估场景中具有广泛适用性。
• 该方法实现了可证明的正确性与对精确鲁棒性半径的收敛，确保了认证的可靠性。