[论文解读] On the effectiveness of adversarial training against common corruptions

Klim Kireev, Maksym Andriushchenko+1 more|arXiv (Cornell University)|Mar 3, 2021

Adversarial Robustness in Machine Learning参考文献 54被引用 17

一句话总结

本文展示了使用小扰动半径（$\varepsilon = 1/255$）的$\varepsilon$-对抗训练，能显著提升在CIFAR-10和ImageNet-100上对常见图像损坏的鲁棒性，优于标准基线方法（如高斯数据增强）。该工作提出一种新颖且高效的对抗训练松弛方法，采用学习感知相似性（LPIPS）作为距离度量，结合AugMix和DeepAugment等数据增强方法时，实现了最先进性能。

ABSTRACT

The literature on robustness towards common corruptions shows no consensus on whether adversarial training can improve the performance in this setting. First, we show that, when used with an appropriately selected perturbation radius, $\ell_p$ adversarial training can serve as a strong baseline against common corruptions improving both accuracy and calibration. Then we explain why adversarial training performs better than data augmentation with simple Gaussian noise which has been observed to be a meaningful baseline on common corruptions. Related to this, we identify the $σ$-overfitting phenomenon when Gaussian augmentation overfits to a particular standard deviation used for training which has a significant detrimental effect on common corruption accuracy. We discuss how to alleviate this problem and then how to further enhance $\ell_p$ adversarial training by introducing an efficient relaxation of adversarial training with learned perceptual image patch similarity as the distance metric. Through experiments on CIFAR-10 and ImageNet-100, we show that our approach does not only improve the $\ell_p$ adversarial training baseline but also has cumulative gains with data augmentation methods such as AugMix, DeepAugment, ANT, and SIN, leading to state-of-the-art performance on common corruptions. The code of our experiments is publicly available at https://github.com/tml-epfl/adv-training-corruptions.

研究动机与目标

• 本文旨在解决文献中关于对抗训练是否能提升对常见图像损坏鲁棒性的模糊性。
• 研究对抗训练为何优于简单的高斯数据增强，识别出关键问题：高斯增强中的$\sigma$-过拟合。
• 目标是开发一种更有效且高效的对抗训练方法，以在常见损坏下实现更好的泛化能力。
• 旨在将新方法与现有数据增强技术结合，以在标准基准上实现最先进性能。
• 研究旨在提升在分布偏移下（尤其是损坏图像）的准确率与校准性能。

提出的方法

• 作者采用精心选择扰动半径的$\varepsilon$-对抗训练，发现$\varepsilon = 1/255$相比标准的$\varepsilon = 8/255$能取得更优性能。
• 提出一种对抗训练的新颖松弛方法，使用学习感知图像块相似性（LPIPS）作为距离度量，通过逐层对抗扰动生成。
• 该方法在保持强鲁棒性的同时计算效率高，优于先前方法（如Fast PAT和标准$\varepsilon$-对抗训练）。
• 该方法与AugMix、DeepAugment、ANT和SIN等成熟数据增强技术结合，实现累积性能提升。
• 作者在多个架构（ResNet-18、WRN-28-10）和数据集（CIFAR-10-C、ImageNet-100-C）上进行了广泛的消融实验，验证了泛化能力。
• 通过应用温度缩放，使用期望校准误差（ECE）评估校准性能，以提升可靠性。

实验结果

研究问题

• RQ1 与标准设置相比，使用小扰动半径的$\varepsilon$-对抗训练是否能提升对常见图像损坏的鲁棒性？
• RQ2 尽管两者均为类似数据增强的方法，为何对抗训练优于高斯数据增强？
• RQ3 高斯增强中的性能退化原因是什么？是否可被缓解？
• RQ4 学习感知相似性度量能否提升对抗训练的效率与鲁棒性？
• RQ5 将所提方法与现有数据增强技术结合，是否能在标准损坏基准上实现累积性能提升？

主要发现

• $\varepsilon$-对抗训练使用$\varepsilon = 1/255$在CIFAR-10-C上达到84.8%的准确率，显著优于标准的$\varepsilon = 8/255$设置。
• 所提出的基于LPIPS的松弛方法（RLAT）在WRN-28-10上于CIFAR-10-C上达到85.9%的准确率，优于其他对抗训练方法。
• 在CIFAR-10-C上，将RLAT与AugMix结合可使ECE降低至1.3%，为所有评估方法中的最低值。
• 在ImageNet-100-C上，RLAT与ANT 3x3结合可使ECE降低至2.8%，而ANT单独使用时为4.5%。
• 该方法展现出强大的泛化能力，在多种架构和数据集上均表现提升。
• 研究证实，使用小$\varepsilon$的对抗训练可提升损坏数据上的校准性能（ECE从16.6%降至9.9%），同时在干净数据上仅轻微降低（RLAT从2.9%降至4.0%）。