[论文解读] Towards Defending Multiple $\ell_p$-norm Bounded Adversarial Perturbations via Gated Batch Normalization

Aishan Liu, Shiyu Tang+5 more|arXiv (Cornell University)|Dec 3, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 5

一句话总结

该论文提出了一种新型归一化技术——门控批量归一化（Gated Batch Normalization, GBN），可增强深度神经网络对多种 $\ell_p$-范数有界的对抗攻击的鲁棒性。通过在批量归一化层中引入可学习门控（卷积和全连接层），GBN 自适应地调制特征表示，在 CIFAR-10 和 Tiny-ImageNet 上实现了 $\ell_1$、$\ell_2$ 和 $\ell_\infty$ 攻击下的最先进鲁棒准确率，干净准确率为 83.6%，在 AutoAttack 下鲁棒准确率最高达 75.6%。

ABSTRACT

There has been extensive evidence demonstrating that deep neural networks are vulnerable to adversarial examples, which motivates the development of defenses against adversarial attacks. Existing adversarial defenses typically improve model robustness against individual specific perturbation types (\eg, $\ell_{\infty}$-norm bounded adversarial examples). However, adversaries are likely to generate multiple types of perturbations in practice (\eg, $\ell_1$, $\ell_2$, and $\ell_{\infty}$ perturbations). Some recent methods improve model robustness against adversarial attacks in multiple $\ell_p$ balls, but their performance against each perturbation type is still far from satisfactory. In this paper, we observe that different $\ell_p$ bounded adversarial perturbations induce different statistical properties that can be separated and characterized by the statistics of Batch Normalization (BN). We thus propose Gated Batch Normalization (GBN) to adversarially train a perturbation-invariant predictor for defending multiple $\ell_p$ bounded adversarial perturbations. GBN consists of a multi-branch BN layer and a gated sub-network. Each BN branch in GBN is in charge of one perturbation type to ensure that the normalized output is aligned towards learning perturbation-invariant representation. Meanwhile, the gated sub-network is designed to separate inputs added with different perturbation types. We perform an extensive evaluation of our approach on commonly-used dataset including MNIST, CIFAR-10, and Tiny-ImageNet, and demonstrate that GBN outperforms previous defense proposals against multiple perturbation types (\ie, $\ell_1$, $\ell_2$, and $\ell_{\infty}$ perturbations) by large margins.

研究动机与目标

• 解决现有防御方法仅对特定 $\\ell_p$-范数攻击有效，无法同时应对多种类型的问题。
• 提升模型在多种对抗攻击（包括 PGD、C&W、AutoAttack 和自然扰动）下的鲁棒性。
• 开发一种统一的防御机制，可泛化于不同 $\\ell_p$-范数威胁模型，而无需为每类攻击设计独立架构。
• 探究门控类型（卷积与全连接）及在 GBN 模块中位置对鲁棒性和泛化能力的影响。

提出的方法

• 提出门控批量归一化（GBN），其中可学习门控（卷积或全连接）动态调节每层的批量统计量，实现特定领域特征的自适应调整。
• 采用混合门控策略：在首个 GBN 模块中使用卷积门控，在后续模块中使用全连接门控，以平衡不变性与表达能力。
• 在 $\\ell_1$、$\\ell_2$ 和 $\\ell_\infty$ 范数下使用 PGD 攻击进行对抗训练，生成对抗性小批量数据，同时保持 BN 层处于评估模式。
• 为提升对抗数据多样性，在训练过程中强制通过所有四个 BN 分支的梯度流，以增强泛化能力。
• 使用干净样本与多范数对抗样本的组合进行模型训练，超参数根据攻击类型分别调优。
• 在 MNIST、CIFAR-10 和 Tiny-ImageNet 上，对 GBN 进行涵盖 PGD、C&W、BBA、MI-FGSM、SPSA、NATTACK 和 AutoAttack 的全面攻击评估。

实验结果

研究问题

• RQ1 是否可设计一种统一的归一化技术，同时防御多种 $\\ell_p$-范数有界的对抗攻击？
• RQ2 门控类型（卷积 vs. 全连接）及在 GBN 模块中的位置如何影响模型的鲁棒性与泛化能力？
• RQ3 在对抗训练过程中强制通过所有 BN 分支的梯度流是否能提升防御性能？
• RQ4 GBN 在 AutoAttack 和 C&W 等强攻击下，与现有防御方法（如 AVG、MAX、MSD、PAT、TRADES）相比表现如何？
• RQ5 GBN 是否能在保持高干净准确率的同时，实现对多种攻击类型的强鲁棒性？

主要发现

• 在 WideResNet-28-10 上，GBN 达到 83.6% 的干净准确率和 75.6% 的 AutoAttack 鲁棒准确率，优于所有基线模型。
• 在 CIFAR-10 上，GBN 在 BBA 攻击下实现 71.1% 的鲁棒准确率，在 PGD-$\\ell_2$ 攻击下达到 70.4%，优于 PAT、TRADES 及其他防御方法。
• GBN 模块中采用混合门控策略（卷积+全连接）时，在 PGD-$\\ell_1$ 攻击下实现 59.6% 的鲁棒准确率，显著优于 '全部卷积'（30.4%）和 '全部全连接'（35.1%）策略。
• GBN 在自然扰动攻击（如高斯噪声和 SPSA）下仍保持优异性能，WideResNet-28-10 在高斯噪声和 SPSA 攻击下的鲁棒准确率分别为 77.4% 和 70.7%。
• 在 ResNet-20 上，GBN 在 C&W-$\\ell_2$ 攻击下实现 74.9% 的鲁棒准确率，超过 PAT（50.9%）和 TRADES（59.5%）在相同攻击下的表现。
• 在 PGD-$\\ell_\infty$ 攻击下，GBN 在 WideResNet-28-10 上实现 60.2% 的准确率，优于 MAX（44.1%）和 AVG（49.6%）策略。