[论文解读] On Improving Adversarial Transferability of Vision Transformers

Muzammal Naseer, Kanchana Ranasinghe+3 more|arXiv (Cornell University)|Jun 8, 2021

Adversarial Robustness in Machine Learning参考文献 54被引用 11

一句话总结

本文提出了一种新颖的攻击方法，显著提升了视觉变换器（ViTs）中对抗样本的黑盒迁移性。通过利用ViTs的层次化结构，结合所有模块中分类标记的自集成，并利用结构化图像块信息对这些标记进行精炼，该方法增强了判别能力，在多种模型和数据集上实现了最先进水平的迁移性。

ABSTRACT

Vision transformers (ViTs) process input images as sequences of patches via self-attention; a radically different architecture than convolutional neural networks (CNNs). This makes it interesting to study the adversarial feature space of ViT models and their transferability. In particular, we observe that adversarial patterns found via conventional adversarial attacks show very \emph{low} black-box transferability even for large ViT models. We show that this phenomenon is only due to the sub-optimal attack procedures that do not leverage the true representation potential of ViTs. A deep ViT is composed of multiple blocks, with a consistent architecture comprising of self-attention and feed-forward layers, where each block is capable of independently producing a class token. Formulating an attack using only the last class token (conventional approach) does not directly leverage the discriminative information stored in the earlier tokens, leading to poor adversarial transferability of ViTs. Using the compositional nature of ViT models, we enhance transferability of existing attacks by introducing two novel strategies specific to the architecture of ViT models. (i) Self-Ensemble: We propose a method to find multiple discriminative pathways by dissecting a single ViT model into an ensemble of networks. This allows explicitly utilizing class-specific information at each ViT block. (ii) Token Refinement: We then propose to refine the tokens to further enhance the discriminative capacity at each block of ViT. Our token refinement systematically combines the class tokens with structural information preserved within the patch tokens.

研究动机与目标

• 探究为何高性能ViT模型在干净数据上表现优异，却展现出较低的对抗迁移性。
• 解决现有方法中攻击过程次优的问题，这些方法仅使用最终的分类标记，忽略了中间的判别性特征。
• 利用ViTs模块化、多块的架构设计更有效的攻击策略，以增强迁移性。
• 证明ViTs中对抗迁移性问题源于攻击设计，而非模型固有的局限性。
• 将所提方法扩展至CNNs，以评估其通用性，结果显示在CNNs上性能有所提升但影响较小，相较ViTs而言。

提出的方法

• 提出一种自集成攻击策略，从ViT中每个Transformer块提取并利用分类标记，将每个标记视为独立分类器。
• 引入一种标记精炼机制，将分类标记与来自图像块标记的结构信息相结合，以增强每个块的判别能力。
• 通过在所有块中使用精炼后的分类标记构建分类器集成，使攻击能够利用层次化的特征表示。
• 对精炼后的集成应用输入多样性与迭代优化（如DIM），以生成更具迁移性的对抗扰动。
• 通过微调中间特征以对齐维度，将该方法适配至CNNs，实现类似的自集成方法。
• 在攻击优化过程中，将精炼后的集成作为目标函数，以最大化对未知目标模型的欺骗能力。

实验结果

研究问题

• RQ1 为何高容量ViT模型在干净数据上表现强劲，却在黑盒对抗攻击中表现出较低的迁移性？
• RQ2 传统攻击策略（仅聚焦于最终分类标记）在多大程度上限制了ViTs的对抗潜力？
• RQ3 ViTs的层次化结构能否被利用以生成更具迁移性的对抗样本？
• RQ4 标记精炼如何提升中间表示在对抗攻击中的判别质量？
• RQ5 所提方法是否可推广至其他架构（如CNNs）？其在不同模型类型上的性能表现如何？

主要发现

• 与标准攻击相比，所提自集成结合精炼标记在ImageNet上实现了29.6%的相对迁移性提升，ε ≤ 16时欺骗率为92.42%。
• 该方法在ResNet-152上最多提升18.7个百分点，在ViT-Base上提升13.1个百分点，表明其在不同模型间具有强大的泛化能力。
• 仅通过标记精炼，不同ViT变体的迁移性提升达12.2至24.3个百分点，凸显其在增强特征判别性方面的有效性。
• 在CvT-S上实现28.8%的相对提升，在CvT-T上实现28.5%的相对提升，表明在ViT架构中具有持续且一致的增益。
• 尽管该方法可适配至ResNet50等CNNs，但相对增益显著较小（ViTs最高提升29.6%，ResNet50约20%），表明其对ViT架构更具适用性。
• 在DeiT-S上，ε ≤ 16时攻击成功率达92.42%，较标准DIM和DIM-E基线高出逾18个百分点，证实了该方法的有效性。