[论文解读] Prior-Guided Adversarial Initialization for Fast Adversarial Training

Xiaojun Jia, Yong Zhang+5 more|arXiv (Cornell University)|Jul 18, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种先验引导的对抗性初始化方法（FGSM-PGI），通过利用历史生成的对抗性扰动作为FGSM的初始化，避免了灾难性过拟合，且无需额外计算开销。该方法在整个训练过程中提升了对抗样本的质量，并引入了一种正则化器，约束当前扰动与先验引导的初始化保持接近，从而在3倍于Free-AT的训练速度下实现SOTA鲁棒性，且比NuAT快1.4倍。

ABSTRACT

Fast adversarial training (FAT) effectively improves the efficiency of standard adversarial training (SAT). However, initial FAT encounters catastrophic overfitting, i.e.,the robust accuracy against adversarial attacks suddenly and dramatically decreases. Though several FAT variants spare no effort to prevent overfitting, they sacrifice much calculation cost. In this paper, we explore the difference between the training processes of SAT and FAT and observe that the attack success rate of adversarial examples (AEs) of FAT gets worse gradually in the late training stage, resulting in overfitting. The AEs are generated by the fast gradient sign method (FGSM) with a zero or random initialization. Based on the observation, we propose a prior-guided FGSM initialization method to avoid overfitting after investigating several initialization strategies, improving the quality of the AEs during the whole training process. The initialization is formed by leveraging historically generated AEs without additional calculation cost. We further provide a theoretical analysis for the proposed initialization method. We also propose a simple yet effective regularizer based on the prior-guided initialization,i.e., the currently generated perturbation should not deviate too much from the prior-guided initialization. The regularizer adopts both historical and current adversarial perturbations to guide the model learning. Evaluations on four datasets demonstrate that the proposed method can prevent catastrophic overfitting and outperform state-of-the-art FAT methods. The code is released at https://github.com/jiaxiaojunQAQ/FGSM-PGI.

研究动机与目标

• 为解决快速对抗训练（FAT）中的灾难性过拟合问题，即由于对抗样本质量下降导致鲁棒准确率急剧下降。
• 在不增加计算成本的前提下，提升基于FGSM的FAT中对抗样本（AEs）的质量。
• 探究是否可通过对抗性初始化（特别是来自先前对抗样本的初始化）来稳定训练并防止过拟合。
• 开发一种正则化器，强制当前扰动与先验引导的扰动保持一致，以增强模型鲁棒性。
• 在显著低于现有FAT和PGD-based方法的训练时间下，实现SOTA鲁棒性。

提出的方法

• 提出FGSM-PGI，一种基于先验的初始化方法，利用前一批次（FGSM-BP）或前一周期（FGSM-EP）的缓冲扰动作为FGSM攻击的初始化。
• 引入FGSM-MEP，通过在所有先前周期中应用动量机制聚合梯度，提升先验引导的质量。
• 采用一种新颖的正则化器，约束当前对抗性扰动与先验引导的初始化保持接近，促进更平滑、更稳定的模型更新。
• 利用历史对抗性扰动，无需额外的梯度计算，确保零额外计算开销。
• 通过动量机制聚合过去梯度，形成更鲁棒、更稳定的先验用于初始化。
• 在训练过程中应用正则化器，以强制实现函数平滑性，提升对对抗攻击的泛化能力。

实验结果

研究问题

• RQ1 能否通过从历史生成的扰动中获得的对抗性初始化，防止快速对抗训练中的灾难性过拟合？
• RQ2 先验引导的初始化是否能在整个训练过程中提升对抗样本的质量？
• RQ3 基于先验引导初始化的正则化器是否能在不增加计算成本的情况下进一步增强模型鲁棒性？
• RQ4 与SOTA的FAT和PGD-based训练方法相比，所提方法在鲁棒性和效率方面表现如何？
• RQ5 该方法在多种数据集和攻击场景下是否能保持强性能？

主要发现

• FGSM-MEP在CIFAR-10上的训练速度比SOTA方法NuAT快29%（73分钟 vs. 104分钟），且鲁棒性相当。
• 在CIFAR-10上，FGSM-MEP在PGD-10、PGD-20和PGD-50攻击下，于最佳检查点和最后检查点均实现了最高的鲁棒准确率。
• 在CIFAR-100上，FGSM-MEP在AutoAttack下达到与PGD-AT相当的鲁棒准确率（约25%），但训练速度快3倍。
• 在Tiny ImageNet上，FGSM-MEP优于所有对比的FAT方法，并在所有攻击场景下达到或超过PGD-AT的鲁棒性。
• 在ImageNet上使用ResNet50时，FGSM-BP（低内存变体）在干净准确率和鲁棒准确率上均优于FGSM-RS和Free-AT，且训练时间显著缩短。
• 消融研究证实，所提出的正则化器在CIFAR-10上对FGSM-BP、FGSM-EP和FGSM-MEP均一致提升了鲁棒性。