[论文解读] Removing Batch Normalization Boosts Adversarial Training

Haotao Wang, Aston Zhang+4 more|arXiv (Cornell University)|Jul 4, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出 NoFrost，一种无需归一化层的鲁棒训练方法，通过在对抗训练中移除批量归一化（BN）层，以更好地处理干净样本与对抗样本分布的混合。通过采用无归一化网络（如 NF-ResNet），NoFrost 在 ResNet50 上实现了 74.06% 的干净准确率和 23.56% 的 PGD 鲁棒性，显著优于受 BN 方法影响导致干净准确率最高下降 16.78% 的基线方法。

ABSTRACT

Adversarial training (AT) defends deep neural networks against adversarial attacks. One challenge that limits its practical application is the performance degradation on clean samples. A major bottleneck identified by previous works is the widely used batch normalization (BN), which struggles to model the different statistics of clean and adversarial training samples in AT. Although the dominant approach is to extend BN to capture this mixture of distribution, we propose to completely eliminate this bottleneck by removing all BN layers in AT. Our normalizer-free robust training (NoFrost) method extends recent advances in normalizer-free networks to AT for its unexplored advantage on handling the mixture distribution challenge. We show that NoFrost achieves adversarial robustness with only a minor sacrifice on clean sample accuracy. On ImageNet with ResNet50, NoFrost achieves $74.06\%$ clean accuracy, which drops merely $2.00\%$ from standard training. In contrast, BN-based AT obtains $59.28\%$ clean accuracy, suffering a significant $16.78\%$ drop from standard training. In addition, NoFrost achieves a $23.56\%$ adversarial robustness against PGD attack, which improves the $13.57\%$ robustness in BN-based AT. We observe better model smoothness and larger decision margins from NoFrost, which make the models less sensitive to input perturbations and thus more robust. Moreover, when incorporating more data augmentations into NoFrost, it achieves comprehensive robustness against multiple distribution shifts. Code and pre-trained models are public at https://github.com/amazon-research/normalizer-free-robust-training.

研究动机与目标

• 解决对抗训练中干净图像性能下降的问题，这是限制其在实际中部署的关键瓶颈。
• 识别批量归一化（BN）是干净准确率-对抗鲁棒性权衡的主要原因，因其无法有效建模干净样本与对抗样本混合分布。
• 探索一种替代方法（如混合 BN）来扩展 BN，通过完全移除 BN 层以解决分布混合挑战。
• 证明无归一化网络在处理异质数据分布以实现鲁棒训练方面具有未被发掘的优势。
• 将方法扩展至实现对多种分布偏移的全面鲁棒性，包括自然损坏和对抗攻击。

提出的方法

• 提出 NoFrost，一种无归一化层的鲁棒训练框架，完全消除对抗训练中的所有批量归一化层。
• 采用 NF-ResNet（一种无归一化层的 ResNet 变体）作为主干网络，以避免基于统计量的归一化在混合分布下失效。
• 联合训练模型于干净图像、FGSM/PGD 对抗样本以及 DeepAugment 和纹理去偏增强（TDA）等数据增强方法生成的数据。
• 使用权重衰减和随机深度来在无归一化层的条件下稳定训练过程。
• 在单一模型中实现对多种异质数据分布（干净、对抗、损坏、风格化）的联合学习。
• 利用模型平滑性和更大的决策边界作为提升鲁棒性的潜在机制。

实验结果

研究问题

• RQ1 移除批量归一化层是否能显著改善对抗训练中的干净准确率-对抗鲁棒性权衡？
• RQ2 与 BN 或混合 BN 相比，无归一化训练是否能更好地处理干净样本与对抗样本的分布混合？
• RQ3 无归一化网络是否能在 ImageNet 上实现更高的鲁棒性，同时保持高干净准确率？
• RQ4 NoFrost 是否可扩展以实现对多种分布偏移（包括对抗攻击之外）的全面鲁棒性？
• RQ5 支撑 NoFrost 改进鲁棒性的潜在机制（如平滑性、决策边界）是什么？

主要发现

• NoFrost 在 ImageNet 上使用 ResNet50 实现了 74.06% 的干净准确率，仅比标准训练下降 2.00%，而基于 BN 的对抗训练则下降至 59.28%（下降 16.78%）。
• NoFrost 在 PGD 攻击下达到 23.56% 的对抗鲁棒性，显著优于基于 BN 的 AT 方法的 13.57%。
• 在 APGD-CE 攻击下，NoFrost 的鲁棒性比 SOTA 的基于 BN 的方法 MBNAT 高出 11.96%，且干净准确率高出 0.42%。
• 与 TRADES-FAT 相比，NoFrost 在干净准确率上高出 12.15%，在 APGD-CE 攻击下的鲁棒性高出 7.25%。
• 扩展后的 NoFrost* 在干净数据、对抗样本、DeepAugment 和 TDA 数据上联合训练，实现了 OOD 基准上的最先进性能，其 PGD 鲁棒性比 DeepAugment 高出 16.30%（在 ResNet26 上）。
• NoFrost 展现出更好的模型平滑性和更大的决策边界，有助于降低对输入扰动的敏感性，从而增强鲁棒性。