[论文解读] PatchGuard: Provable Defense against Adversarial Patches Using Masks on Small Receptive Fields.

Chong Xiang, Arjun Nitin Bhagoji+2 more|arXiv (Cornell University)|May 17, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用 17

一句话总结

PatchGuard 是一种针对局部对抗性补丁的可证明鲁棒防御方法，通过使用感受野较小的卷积网络，将污染限制在有限数量的特征内，随后采用鲁棒掩码机制检测并抑制这些被污染的特征。该方法在 ImageNette（10 类）上实现 86.5% 的可证明鲁棒准确率，在 ImageNet 上实现 18.6% 的可证明鲁棒准确率，在 CIFAR-10 上实现 58.1% 的可证明鲁棒准确率，同时保持了较高的干净样本准确率。

ABSTRACT

Localized adversarial patches aim to induce misclassification in machine learning models by arbitrarily modifying pixels within a restricted region of an image. Such attacks can be realized in the physical world by attaching the adversarial patch to the object to be misclassified. In this paper, we propose a general defense framework called PatchGuard that can achieve both high clean accuracy and provable robustness against localized adversarial patches. The cornerstone of PatchGuard is to use convolutional networks with small receptive fields that impose a bound on the number of features corrupted by an adversarial patch. Given a bound on the number of corrupted features, the problem of designing an adversarial patch defense reduces to that of designing a secure feature aggregation mechanism. Towards this end, we present our robust masking defense that robustly detects and masks corrupted features to recover the correct prediction. Our defense achieves state-of-the-art provable robust accuracy on ImageNette (a 10-class subset of ImageNet), ImageNet, and CIFAR-10 datasets. Against the strongest untargeted white-box adaptive attacker, we achieve 94.4% clean accuracy and 86.5% provable robust accuracy on 10-class ImageNette images against an adversarial patch consisting of 1% image pixels, 55.1% clean accuracy and 18.6% provable robust accuracy on 1000-class ImageNet images against a 1% pixel patch, and 84.5% clean accuracy and 58.1% provable accuracy on CIFAR-10 images against a 2.4% pixel patch.

研究动机与目标

• 解决局部对抗性补丁在现实世界部署中误导机器学习模型的威胁。
• 开发一种在保持高干净样本准确率的同时，对对抗性补丁具备可证明鲁棒性的防御方法。
• 通过在卷积神经网络中利用小感受野，减少被污染特征的数量。
• 设计一种安全的特征聚合机制，可在对抗性条件下可靠检测并掩码被污染的特征。
• 在包括 ImageNette、ImageNet 和 CIFAR-10 在内的多个基准数据集上实现最先进水平的可证明鲁棒准确率。

提出的方法

• 使用感受野较小的卷积神经网络，限制对抗性补丁影响的特征数量。
• 基于感受野大小定义被污染特征数量的上界，从而实现形式化鲁棒性保证。
• 设计一种鲁棒掩码机制，利用安全聚合技术识别并抑制被污染的特征。
• 利用受限污染模型，将防御问题转化为安全特征聚合任务。
• 在推理阶段应用掩码机制，即使补丁仅污染有限数量的特征，也能恢复正确预测。
• 端到端联合训练模型与掩码机制，确保在对抗性补丁攻击下具备兼容性与鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种防御方法，同时实现高干净样本准确率与对局部对抗性补丁的可证明鲁棒性？
• RQ2 如何利用小感受野限制被污染特征的数量，从而实现形式化鲁棒性保证？
• RQ3 何种安全特征聚合机制可可靠检测并掩码对抗性补丁攻击下的被污染特征？
• RQ4 在强白盒自适应攻击者下，该防御方法在多样化数据集上的表现如何？
• RQ5 该防御方法能否在大规模数据集（如 ImageNet）上有效扩展，同时保持强鲁棒性与高准确率？

主要发现

• 在 10 类 ImageNette 上，PatchGuard 实现 94.4% 的干净样本准确率与 86.5% 的可证明鲁棒准确率，对抗 1% 像素的对抗性补丁。
• 在完整的 1000 类 ImageNet 数据集上，其在相同 1% 补丁攻击下达到 55.1% 的干净样本准确率与 18.6% 的可证明鲁棒准确率。
• 在 CIFAR-10 上，该防御方法实现 84.5% 的干净样本准确率与 58.1% 的可证明鲁棒准确率，对抗 2.4% 像素的补丁。
• 该防御在多样化数据集上保持了强劲性能，展现出良好的可扩展性与鲁棒性。
• 小感受野的使用有效界定了被污染特征的数量，从而支持形式化鲁棒性保证。
• 鲁棒掩码机制即使在图像大部分区域被对抗性补丁污染时，仍能成功恢复正确预测。