[论文解读] Revisiting Adversarial Training for ImageNet: Architectures, Training and Generalization across Threat Models

Naman D Singh, Francesco Croce+1 more|arXiv (Cornell University)|Mar 3, 2023

Adversarial Robustness in Machine Learning被引用 13

一句话总结

该论文研究架构（ViT、ConvNeXt、ConvStem）和训练方案如何影响 ImageNet 上的对抗鲁棒性，结果显示 ConvStem 和强预训练结合强烈数据增强可达到最先进的 l_infinity 鲁棒性，并对未见威胁模型的泛化更好。

ABSTRACT

While adversarial training has been extensively studied for ResNet architectures and low resolution datasets like CIFAR, much less is known for ImageNet. Given the recent debate about whether transformers are more robust than convnets, we revisit adversarial training on ImageNet comparing ViTs and ConvNeXts. Extensive experiments show that minor changes in architecture, most notably replacing PatchStem with ConvStem, and training scheme have a significant impact on the achieved robustness. These changes not only increase robustness in the seen $\ell_\infty$-threat model, but even more so improve generalization to unseen $\ell_1/\ell_2$-attacks. Our modified ConvNeXt, ConvNeXt + ConvStem, yields the most robust $\ell_\infty$-models across different ranges of model parameters and FLOPs, while our ViT + ConvStem yields the best generalization to unseen threat models.

研究动机与目标

• 研究架构选择如何影响对 ImageNet 上已知和未见对抗攻击的鲁棒性。
• 评价 ViT、ConvNeXt、以及等向 ConvNeXt 在有无 ConvStem 的情况下的表现。
• 评估强预训练和大规模数据增强对鲁棒性的影响。
• 检验测试时分辨率的影响及优化方案对鲁棒性的影响。
• 提供在 ImageNet 上实现高 l_infinity 鲁棒性的实用训练方案。

提出的方法

• 在 ImageNet 上进行 l_infinity 对抗训练，比较 ViT 与 ConvNeXt 家族架构。
• 将 PatchStem 替换为 ConvStem，产生 CvSt 变体并评估鲁棒性。
• 使用强大的干净预训练来初始化对抗训练。
• 在对抗训练期间应用强数据增强（RandAugment、MixUp、CutMix、Random Erasing）。
• 使用 AutoAttack 在 l_infinity、l2、l1 威胁模型下评估鲁棒性。
• 分析测试时分辨率效应以及对更大半径的微调。

实验结果

研究问题

• RQ1 架构组件（PatchStem 与 ConvStem）如何影响对 ImageNet 上已知与未见威胁模型的鲁棒性？
• RQ2 强预训练和大量数据增强对 l_infinity 鲁棒性以及对 l1/l2 攻击的泛化有何影响？
• RQ3 提高测试时分辨率是否能在不牺牲对更强扰动鲁棒性的前提下提升鲁棒性能？
• RQ4 配备 ConvStem 的 ConvNeXt 与 ViT 模型是否能在 ImageNet 上的 l_infinity 鲁棒性方面超越现有 SOTA（按模型尺寸）。
• RQ5 1 步 vs 2 步对抗训练对这些架构的鲁棒性和训练效率有何影响？

主要发现

• ConvStem 在等向 ConvNeXt 与 ViT 架构上始终提升 l_infinity 鲁棒性和干净精度。
• ConvStem + 强预训练 + 大量增强在未见的 l1 与 l2 鲁棒性上带来显著提升，适用于各架构。
• ConvNeXt-T + ConvStem 在 epsilon=4/255 时达到 50.2% 的 l_infinity 鲁棒准确率，相对于之前的 SOTA，在小模型上领先 5.8%，在大模型上领先 2.8%。
• ViT + ConvStem 在所评估架构中对未见威胁模型提供了最好的泛化。
• 提高测试时分辨率可以在若干顶尖模型上提升鲁棒性，即使在固定半径下攻击更强。
• 采用 2-step APGD 对抗训练得到有竞争力的鲁棒性，成本低于更多步数；50 世纪训 期配合 2-step AT 可以超越某些更长训练方案。