[论文解读] Pyramid Adversarial Training Improves ViT Performance

Charles Herrmann, Kyle Sargent+6 more|arXiv (Cornell University)|Nov 30, 2021

Adversarial Robustness in Machine Learning参考文献 55被引用 4

一句话总结

本文提出了一种新型数据增强方法——金字塔对抗训练（Pyramid Adversarial Training, PyramidAT），通过在训练过程中应用多尺度、结构化的对抗扰动，提升了视觉Transformer（ViT）的性能。该方法在仅使用ImageNet-1K数据的情况下，使ViT-B/16在ImageNet干净准确率上提升了1.82%的绝对值，并在7个ImageNet鲁棒性基准上取得了新的SOTA结果，同时未使用额外数据，且采用了匹配的Dropout和随机深度正则化。

ABSTRACT

Aggressive data augmentation is a key component of the strong generalization capabilities of Vision Transformer (ViT). One such data augmentation technique is adversarial training (AT); however, many prior works have shown that this often results in poor clean accuracy. In this work, we present pyramid adversarial training (PyramidAT), a simple and effective technique to improve ViT's overall performance. We pair it with a "matched" Dropout and stochastic depth regularization, which adopts the same Dropout and stochastic depth configuration for the clean and adversarial samples. Similar to the improvements on CNNs by AdvProp (not directly applicable to ViT), our pyramid adversarial training breaks the trade-off between in-distribution accuracy and out-of-distribution robustness for ViT and related architectures. It leads to 1.82% absolute improvement on ImageNet clean accuracy for the ViT-B model when trained only on ImageNet-1K data, while simultaneously boosting performance on 7 ImageNet robustness metrics, by absolute numbers ranging from 1.76% to 15.68%. We set a new state-of-the-art for ImageNet-C (41.42 mCE), ImageNet-R (53.92%), and ImageNet-Sketch (41.04%) without extra data, using only the ViT-B/16 backbone and our pyramid adversarial training. Our code is publicly available at pyramidat.github.io.

研究动机与目标

• 解决视觉Transformer（ViT）在分布内泛化与分布外鲁棒性之间的权衡问题。
• 在不依赖额外数据的前提下，提升ViT在干净ImageNet和多个鲁棒性基准上的性能。
• 设计一种更有效的对抗训练方法，以适配ViT的架构特性与归纳偏置。
• 探究匹配Dropout和随机深度等正则化技术在ViT对抗训练中的作用。
• 仅使用标准预训练和PyramidAT，在ImageNet-C、ImageNet-R和ImageNet-Sketch上为ViT-B/16建立新的SOTA结果。

提出的方法

• 提出金字塔对抗训练（PyramidAT），在多个空间尺度上生成对抗扰动——对大范围区域采用结构化扰动，对小范围区域采用灵活的像素级扰动，以模拟数据增强。
• 采用多尺度金字塔攻击，在图像区域应用大范围、连贯的扰动，同时允许细粒度的像素级编辑以增强鲁棒性。
• 引入“匹配”Dropout，即在小批量中对干净样本和对抗样本应用相同的Dropout掩码，以稳定训练过程。
• 采用配置匹配的随机深度，随机在训练过程中丢弃网络层，以提升泛化能力和鲁棒性。
• 在干净样本和对抗样本的前向传播中使用相同的优化超参数（如初始学习率、权重衰减），以保持训练一致性。
• 使用标准ImageNet-1K数据进行训练，可选地使用ImageNet-21K数据，且不对ViT-B/16的架构进行任何修改。

实验结果

研究问题

• RQ1 对抗训练能否在视觉Transformer中同时提升干净准确率和鲁棒性，打破典型的准确率-鲁棒性权衡？
• RQ2 与标准的逐像素对抗攻击相比，多尺度、结构化的对抗扰动在提升ViT泛化能力方面表现如何？
• RQ3 匹配Dropout和随机深度对ViT模型对抗训练性能的影响是什么？
• RQ4 PyramidAT是否能在ViT-B/16之外的其他数据集和模型架构上实现泛化？
• RQ5 PyramidAT能否在不使用额外数据的情况下，实现在分布外基准上的SOTA性能？

主要发现

• 当仅使用ImageNet-1K数据进行训练时，PyramidAT使ViT-B/16在ImageNet干净准确率上实现了1.82%的绝对提升。
• 该方法在ImageNet-C上达到41.42 mCE的SOTA结果，超越了此前所有方法，且未使用额外数据。
• 在ImageNet-R上取得53.92%的准确率，在ImageNet-Sketch上取得41.04%的准确率，均为ViT-B/16在该任务上的新SOTA结果。
• 在7个ImageNet鲁棒性基准上，鲁棒性提升幅度在1.76%至15.68%之间（绝对值）。
• 使用AdaBelief优化器可使PixelAT在ImageNet-R上的性能提升最高达1.72%，但对PyramidAT的增益较小。
• 消融实验表明，匹配Dropout和随机深度是PyramidAT性能提升的关键组件。