[论文解读] Reveal of Vision Transformers Robustness against Adversarial Attacks

Ahmed Aldahdooh, Wassim Hamidouche+1 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 55被引用 7

一句话总结

本文研究了视觉变换器（ViTs）及其变体在各类 $L_p$-范数和色彩通道扰动（CCP）对抗攻击下的鲁棒性，与卷积神经网络（CNNs）进行对比。基于 ImageNet-1k 的实验表明，原始 ViTs 和混合 ViTs 在白盒攻击与自适应攻击下均比 CNNs 更具鲁棒性，尤其在基于 $L_p$ 和 RayS 的攻击下表现更优；而 ViTs 对于降低高频分量的预处理防御手段响应有限。

ABSTRACT

The major part of the vanilla vision transformer (ViT) is the attention block that brings the power of mimicking the global context of the input image. For better performance, ViT needs large-scale training data. To overcome this data hunger limitation, many ViT-based networks, or hybrid-ViT, have been proposed to include local context during the training. The robustness of ViTs and its variants against adversarial attacks has not been widely investigated in the literature like CNNs. This work studies the robustness of ViT variants 1) against different Lp-based adversarial attacks in comparison with CNNs, 2) under adversarial examples (AEs) after applying preprocessing defense methods and 3) under the adaptive attacks using expectation over transformation (EOT) framework. To that end, we run a set of experiments on 1000 images from ImageNet-1k and then provide an analysis that reveals that vanilla ViT or hybrid-ViT are more robust than CNNs. For instance, we found that 1) Vanilla ViTs or hybrid-ViTs are more robust than CNNs under Lp-based attacks and under adaptive attacks. 2) Unlike hybrid-ViTs, Vanilla ViTs are not responding to preprocessing defenses that mainly reduce the high frequency components. Furthermore, feature maps, attention maps, and Grad-CAM visualization jointly with image quality measures, and perturbations' energy spectrum are provided for an insight understanding of attention-based models.

研究动机与目标

• 评估视觉变换器（ViTs）及其变体在 $L_p$-范数和色彩通道扰动（CCP）对抗攻击下的鲁棒性。
• 比较 ViTs 与 CNNs 在降低高频分量的预处理防御方法下的鲁棒性。
• 研究模型架构深度（注意力块数量）和标记化方法对对抗鲁棒性的影响。
• 分析在黑盒与自适应攻击设置下，对抗样本在 ViT 与 CNN 模型之间的可迁移性。

提出的方法

• 本研究使用 ImageNet-1k 验证集中的 1,000 张图像来评估对抗鲁棒性。
• 通过 PGD-$L_\infty$ 方法生成对抗样本，$\epsilon = 4/255$，并在包括局部空间平滑（SS）、非局部均值（NLM）、总变差最小化（TVM）、JPEG 压缩（JPEG）、裁剪与重缩放（CR）以及色彩通道扰动（CCP）在内的预处理防御下进行测试。
• 应用期望变换（EOT）框架，生成在变换分布下均鲁棒的自适应对抗样本。
• 利用特征图、注意力图、Grad-CAM 可视化以及基于 DCT 的扰动谱分解分析模型行为。
• 通过预处理后对抗样本的攻击成功率（ASR）和 top-1 错误率来衡量鲁棒性。

实验结果

研究问题

• RQ1 ViT 变体在 $L_0$、$L_1$、$L_2$ 和 $L_\infty$ 基础攻击及 CCP 攻击下是否比 CNNs 更具鲁棒性？
• RQ2 ViT 变体在预处理后的对抗样本下是否比 CNNs 更具鲁棒性？
• RQ3 增加注意力块数量是否能提升对对抗样本及预处理防御的鲁棒性？
• RQ4 增强 ViT 标记化方法是否能提升对对抗样本及预处理防御的鲁棒性？

主要发现

• 在 $L_p$ 基础攻击和 CCP 攻击下，原始 ViTs 和混合 ViTs 在 ImageNet-1k 上的攻击成功率低于 CNNs，表现出更强的鲁棒性。
• 原始 ViTs 对于降低高频分量的预处理防御（如局部空间平滑（SS）和 JPEG 压缩（JPEG））无响应，而混合 ViTs 和 CNNs 则表现出响应。
• 在 EOT 框架下，混合 ViT 模型（尤其是 T2T-ViT 和 TNT）在 SS 和 JPEG 预处理下比原始 ViTs 和 ResNets 表现出更好的鲁棒性。
• 增加注意力块数量可提升对迁移攻击的鲁棒性，但对白盒攻击无显著改善。
• 增强 ViT 标记化方法（如通过 T2T-ViT 或 TNT）可提升在预处理防御下的鲁棒性，但未必能提升对原始对抗样本的鲁棒性。
• 对抗样本在 ViT 与 CNN 之间的可迁移性更高，即 ViTs 生成的攻击更具可迁移性。