[论文解读] Towards Understanding Fast Adversarial Training

Bai Li, Shiqi Wang+2 more|arXiv (Cornell University)|Jun 4, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用 24

一句话总结

本文解释了快速对抗训练之所以成功，并非因为它避免了灾难性过拟合，而是通过随机初始化从灾难性过拟合中恢复过来。作者提出了一种改进的训练策略，使模型能够进行更长时间的训练并提升鲁棒准确率，并将该增强方法用作PGD训练的预热阶段——在仅使用标准PGD对抗训练75%训练时间的情况下，实现了当前最优的鲁棒性。

ABSTRACT

Current neural-network-based classifiers are susceptible to adversarial examples. The most empirically successful approach to defending against such adversarial examples is adversarial training, which incorporates a strong self-attack during training to enhance its robustness. This approach, however, is computationally expensive and hence is hard to scale up. A recent work, called fast adversarial training, has shown that it is possible to markedly reduce computation time without sacrificing significant performance. This approach incorporates simple self-attacks, yet it can only run for a limited number of training epochs, resulting in sub-optimal performance. In this paper, we conduct experiments to understand the behavior of fast adversarial training and show the key to its success is the ability to recover from overfitting to weak attacks. We then extend our findings to improve fast adversarial training, demonstrating superior robust accuracy to strong adversarial training, with much-reduced training time.

研究动机与目标

• 理解快速对抗训练成功背后的内在机制，尽管其效率很高，但该机制至今仍不甚明了。
• 解决快速对抗训练的局限性，即由于灾难性过拟合，其无法扩展到多个训练周期以上。
• 开发一种训练策略，在保持快速对抗训练效率的同时，支持更长的训练周期以提升鲁棒性。
• 证明改进后的快速对抗训练可作为PGD对抗训练的有效预热，从而在不损失性能的前提下显著减少整体训练时间。

提出的方法

• 作者分析了快速对抗训练的行为，发现其成功源于模型从灾难性过拟合中恢复的能力，而非避免过拟合。
• 他们提出了一种改进的训练策略，通过使用分段学习率调度，缓解过拟合，使快速对抗训练能够运行多个训练周期。
• 将改进后的快速对抗训练用作PGD对抗训练的预热阶段，通过快速攻击学习到的鲁棒特征初始化模型。
• 在FGSM攻击中引入随机初始化以增加攻击多样性，防止过拟合，同时保持计算效率。
• 该方法在多个数据集（CIFAR-10、CIFAR-100、Tiny ImageNet）和多种架构（PreAct ResNet-18、Wide-ResNet-34-10、ResNet-50）上进行了评估。

实验结果

研究问题

• RQ1 为何快速对抗训练在使用弱攻击时仍能实现鲁棒性，而普通FGSM训练却因灾难性过拟合而失败？
• RQ2 快速对抗训练如何避免或从灾难性过拟合中恢复？这与标准FGSM训练有何不同？
• RQ3 能否在不损失鲁棒性的前提下，将快速对抗训练扩展到更长的训练周期？需要哪些修改？
• RQ4 改进后的快速对抗训练能否作为PGD对抗训练的有效预热，以减少整体训练时间，同时提升鲁棒准确率？

主要发现

• FastAdv+ 在 CIFAR-10 上以 143.17 分钟的训练时间达到 51.01% 的鲁棒准确率，其鲁棒性优于标准 PGD 对抗训练（54.10% 鲁棒准确率），但仅使用了其 14% 的训练时间。
• FastAdvW 在 CIFAR-10 上达到 55.13% 的鲁棒准确率，超过 PGD 对抗训练（54.10%），且仅使用其 25% 的训练时间。
• 在 CIFAR-100 上，FastAdvW 达到 28.88% 的鲁棒准确率，超过 PGD 对抗训练（26.60%），训练时间减少 75%。
• 在 Tiny ImageNet 上，FastAdvW 达到 21.82% 的鲁棒准确率，优于 PGD 对抗训练（21.62%），训练时间减少 71%。
• 将改进后的快速对抗训练作为预热阶段，可使 PGD 训练在显著减少总训练时间的同时实现更高的鲁棒性。