[论文解读] RANDOM MASK: Towards Robust Convolutional Neural Networks

Tiange Luo, Tianle Cai+3 more|arXiv (Cornell University)|Jul 27, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 16

一句话总结

本文提出 Random Mask，一种简单而有效的技术，可在无需对抗性训练的情况下提升卷积神经网络（CNN）对黑盒对抗攻击的鲁棒性。通过在训练过程中随机丢弃浅层中的滤波器，该方法在 CIFAR-10 和 CIFAR-100 上实现了最先进的鲁棒性，同时保持了较高的自然准确率，并显著降低了 PGD 和 FGSM 攻击的成功率。

ABSTRACT

Robustness of neural networks has recently been highlighted by the adversarial examples, i.e., inputs added with well-designed perturbations which are imperceptible to humans but can cause the network to give incorrect outputs. In this paper, we design a new CNN architecture that by itself has good robustness. We introduce a simple but powerful technique, Random Mask, to modify existing CNN structures. We show that CNN with Random Mask achieves state-of-the-art performance against black-box adversarial attacks without applying any adversarial training. We next investigate the adversarial examples which 'fool' a CNN with Random Mask. Surprisingly, we find that these adversarial examples often 'fool' humans as well. This raises fundamental questions on how to define adversarial examples and robustness properly.

研究动机与目标

• 解决标准 CNN 对对抗样本的脆弱性，即微小扰动导致误分类的不可察觉扰动。
• 克服现有防御方法的局限性，如对抗性训练（易过拟合）和梯度混淆（易被绕过）。
• 从零开始设计一种鲁棒的 CNN 架构，不依赖对抗性数据增强或复杂防御机制。
• 通过分析对抗样本是否也会欺骗人类观察者，探究对抗样本的根本性质。
• 在人类感知相似性的基础上，重新评估对抗样本和鲁棒性的定义。

提出的方法

• 提出 Random Mask：在训练过程中，浅层中的一组固定滤波器被随机屏蔽（设为零），并在整个训练和推理过程中保持不激活。
• 仅选择性地对早期卷积层应用 Random Mask，因为深层掩码会导致鲁棒性下降。
• 每种模型使用固定的掩码，不同于 Dropout 在每次前向传播时随机屏蔽神经元。
• 将 Random Mask 轻松集成到标准 CNN（如 ResNet 和 VGG）中，仅需极少代码修改，同时保持模型架构和推理速度不变。
• 应用集成策略（如使用不同掩码的多个模型）以进一步提升鲁棒性。
• 在标准数据集（CIFAR-10、CIFAR-100）上使用标准交叉熵损失进行训练，不使用对抗性数据或数据增强。

实验结果

研究问题

• RQ1 是否可以设计一种 CNN 架构，使其在无需对抗性训练的情况下天然具备对对抗攻击的鲁棒性？
• RQ2 仅在浅层应用 Random Mask 是否能显著提升对黑盒攻击的鲁棒性？
• RQ3 那些能欺骗使用 Random Mask 的 CNN 的对抗样本，是否也会欺骗人类观察者，从而挑战当前对抗样本的定义？
• RQ4 与使用对抗性训练的最先进防御方法相比，Random Mask 的鲁棒性如何？
• RQ5 Random Mask 是否能在保持高自然准确率的同时实现强鲁棒性，避免典型的准确率-鲁棒性权衡？

主要发现

• 使用 Random Mask 的 CNN 在 CIFAR-10 上对黑盒攻击实现了最先进鲁棒性，PGD-8 攻击防御的成功率达到 94.14%（而标准 ResNet-18 仅为 39.42%）。
• 在浅层掩码比率为 0.9 时，模型对 PGD-32 攻击的防御成功率高达 85.46%，显著优于标准模型。
• 该方法保持了高自然测试准确率（例如，CIFAR-10 上 0.5-Shallow-EN 为 94.56%），避免了对抗性训练中常见的干净准确率下降问题。
• 针对 Random Mask 模型生成的对抗样本通常也会欺骗人类标注者，64% 的人类受试者错误分类了欺骗网络的样本。
• 使用 Random Mask 的模型表现出强大的泛化能力：五个不同掩码的模型集成（0.9-Shallow-EN）在 PGD-32 下实现了 89.45% 的自然准确率和 85.46% 的鲁棒性。
• 随着掩码比率增加，对抗攻击的成功率上升，在 0.95–0.99 之间达到峰值，表明更高的滤波器剪枝可增强鲁棒性，但仅在一定范围内有效，超过后性能会下降。