[论文解读] Towards Verifying the Geometric Robustness of Large-scale Neural Networks

Fu Wang, Peipei Xu+2 more|arXiv (Cornell University)|Jan 29, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出GeoRobust，一种基于Lipschitz优化的黑盒鲁棒性分析器，可对大规模神经网络在旋转与缩放等组合几何变换下的几何鲁棒性进行可证明的验证。它在ImageNet模型上仅需数秒即可高效定位最坏情况变换，揭示出更深更宽的网络表现出更高的几何鲁棒性，且性能与参数量正相关。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial geometric transformation. This paper aims to verify the robustness of large-scale DNNs against the combination of multiple geometric transformations with a provable guarantee. Given a set of transformations (e.g., rotation, scaling, etc.), we develop GeoRobust, a black-box robustness analyser built upon a novel global optimisation strategy, for locating the worst-case combination of transformations that affect and even alter a network's output. GeoRobust can provide provable guarantees on finding the worst-case combination based on recent advances in Lipschitzian theory. Due to its black-box nature, GeoRobust can be deployed on large-scale DNNs regardless of their architectures, activation functions, and the number of neurons. In practice, GeoRobust can locate the worst-case geometric transformation with high precision for the ResNet50 model on ImageNet in a few seconds on average. We examined 18 ImageNet classifiers, including the ResNet family and vision transformers, and found a positive correlation between the geometric robustness of the networks and the parameter numbers. We also observe that increasing the depth of DNN is more beneficial than increasing its width in terms of improving its geometric robustness. Our tool GeoRobust is available at https://github.com/TrustAI/GeoRobust.

研究动机与目标

• 为解决大规模DNN在组合几何变换下缺乏可证明且可扩展的鲁棒性验证方法的问题。
• 开发一种无需访问目标模型架构或梯度信息的黑盒方法。
• 利用Lipschitz连续性提供理论收敛保证，并优化GPU并行效率。
• 在现代ImageNet分类器（包括ResNets和视觉Transformer）上对几何鲁棒性进行实证基准测试。
• 研究模型深度与宽度对几何鲁棒性在对抗性变换下的影响。

提出的方法

• GeoRobust采用基于Lipschitz理论的全局优化策略，可证明地定位最坏情况的几何变换组合。
• 证明空间变换网络（STNs）具有Lipschitz连续性，从而在与Lipschitz连续的DNN堆叠时可提供理论收敛保证。
• 该框架采用空间划分策略与自适应采样，高效探索变换的连续参数空间。
• 引入GPU感知的采样策略，加速函数查询，并支持对多个变换候选的并行评估。
• 采用一种任意时间下界估计方法，在任意停止时间提供可验证的置信区间，提升实际可用性。
• 该方法作为黑盒运行，仅需输入-输出查询，因此可适用于任何DNN，无论其架构或激活函数如何。

实验结果

研究问题

• RQ1 能否通过一种黑盒、可证明收敛的方法，高效定位使大规模DNN失效的最坏情况几何变换组合？
• RQ2 STNs的Lipschitz连续性如何在几何鲁棒性验证中提供理论保证？
• RQ3 在现代ImageNet分类器中，模型规模（深度与宽度）与几何鲁棒性之间存在何种关系？
• RQ4 GeoRobust的性能如何随变换参数数量与模型复杂度而扩展？
• RQ5 对抗性几何攻击在多大程度上利用了标准对抗训练无法缓解的架构弱点？

主要发现

• 对于ImageNet上的ResNet50模型，GeoRobust在平均6.9至16.1秒内定位到最坏情况的几何变换，具体时间取决于配置。
• 在包括ResNets和视觉Transformer在内的18个ImageNet分类器中，DNN的几何鲁棒性与参数数量呈正相关。
• 增加网络深度比增加宽度更有效地提升几何鲁棒性，表明深度是提升鲁棒性的更高效设计选择。
• 由于高效的GPU并行化，运行时间随查询次数呈亚线性增长，实现快速收敛。
• 在执行过程中，对最坏情况损失的估计下界持续改善，证明了任意时间估计策略的有效性。
• 对抗性训练并未显著提升几何鲁棒性，表明当前防御方法可能对几何攻击无效。