[论文解读] PRoA: A Probabilistic Robustness Assessment against Functional Perturbations

Tianle Zhang, Wenjie Ruan+1 more|arXiv (Cornell University)|Jul 5, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

PRoA 提出了一种可扩展的、基于概率的深度神经网络鲁棒性评估框架，利用自适应浓度不等式对功能扰动（如旋转、模糊化和色彩偏移）下的失败概率进行统计上界估计，提供可证明的保证，且无需对网络架构做任何假设。该方法在多种模型和扰动类型下均优于当前最先进基线方法，在认证准确率方面表现优异，包括 ResNetV2-50 和视觉Transformer模型。

ABSTRACT

In safety-critical deep learning applications robustness measurement is a vital pre-deployment phase. However, existing robustness verification methods are not sufficiently practical for deploying machine learning systems in the real world. On the one hand, these methods attempt to claim that no perturbations can ``fool'' deep neural networks (DNNs), which may be too stringent in practice. On the other hand, existing works rigorously consider $L_p$ bounded additive perturbations on the pixel space, although perturbations, such as colour shifting and geometric transformations, are more practically and frequently occurring in the real world. Thus, from the practical standpoint, we present a novel and general {\it probabilistic robustness assessment method} (PRoA) based on the adaptive concentration, and it can measure the robustness of deep learning models against functional perturbations. PRoA can provide statistical guarantees on the probabilistic robustness of a model, extit{i.e.}, the probability of failure encountered by the trained model after deployment. Our experiments demonstrate the effectiveness and flexibility of PRoA in terms of evaluating the probabilistic robustness against a broad range of functional perturbations, and PRoA can scale well to various large-scale deep neural networks compared to existing state-of-the-art baselines. For the purpose of reproducibility, we release our tool on GitHub: \url{ https://github.com/TrustAI/PRoA}.

研究动机与目标

• 为解决确定性鲁棒性验证的局限性，即假设在 epsilon 球内不存在对抗样本，通过将重点转向概率鲁棒性。
• 实现对现实世界中常见的非加性功能扰动（如几何变换和图像退化）的鲁棒性评估，这些扰动在实际部署中普遍存在。
• 开发一种与神经网络架构无关的方法，从而能够对大规模、最先进的黑盒模型进行评估。
• 为模型在扰动下的失败概率提供统计保证，并给出可证明的置信区间。
• 通过采用自适应采样策略，在达到足够置信度时提前终止采样，从而在效率和可扩展性上优于现有方法。

提出的方法

• PRoA 采用自适应浓度不等式框架，估计在功能扰动下对抗样本的概率，并根据持续的统计置信度动态调整采样数量。
• 将鲁棒性评估建模为序贯假设检验，采样持续进行，直到估计的失败概率在高置信度下落入用户定义的容差范围内。
• 该方法不假设神经网络的任何特定结构，因此适用于任意黑盒模型，包括 ResNet、EfficientNet 和视觉Transformer。
• 通过从功能威胁模型（如旋转、模糊化、色调偏移）中随机采样扰动输入，并评估模型的预测结果，以估计失败率。
• 该方法利用 Agresti–Coull 方法推导出的置信区间，并与自适应采样结果进行比较，以确保统计有效性。
• 当置信区间允许做出决策时，算法会提前终止，避免不必要的采样，从而提高效率。

实验结果

研究问题

• RQ1 概率鲁棒性评估框架能否在真实的功能扰动下，为深度神经网络的失败概率提供可证明的保证？
• RQ2 在多种扰动类型下，PRoA 的自适应采样策略与固定样本方法相比，在效率和准确性方面表现如何？
• RQ3 PRoA 在不依赖架构假设的前提下，能在多大程度上扩展到大规模、最先进的深度神经网络？
• RQ4 在相同置信水平下，PRoA 是否能实现高于现有方法（如 Agresti–Coull 和 SRC）的认证准确率？
• RQ5 PRoA 的计算成本如何随模型复杂度和扰动类型的变化而变化？

主要发现

• PRoA 在所有评估的模型和扰动类型中均实现了最高的认证准确率，其中 ResNetV2-50 在旋转扰动下达到 54% 的认证准确率，在亮度/对比度扰动下达到 40%。
• 在高斯模糊化扰动下，PRoA 的平均运行时间最短（3.89 秒），优于 Agresti–Coull（6.38 秒）和 SRC（5.72 秒），表明其在复杂扰动下具有更高的效率。
• 在视觉Transformer（ViT-Base）上，PRoA 在旋转扰动下实现 41% 的认证准确率，在亮度/对比度扰动下实现 34%，优于 Agresti–Coull 和 SRC。
• PRoA 所需的平均采样数量随模型规模和扰动复杂度的增加而上升，但保持在合理范围内——例如，在 ViT-Base 上处理旋转扰动时，平均采样 7,260 次，标准差为 80.11。
• PRoA 的自适应采样策略减少了冗余计算，尤其在高复杂度场景（如高斯模糊化）中，其终止时间早于固定样本基线方法。
• 该方法表现出强大的可扩展性，成功对包括 ResNetV2-50、EfficientNet-B0 和 ViT-Base-Patch16-224 在内的多种模型，在多样化功能威胁模型下完成了鲁棒性认证。