[论文解读] Towards Adversarial Purification using Denoising AutoEncoders

Dvij Kalaria, Aritra Hazra+1 more|arXiv (Cornell University)|Aug 29, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出 APuDAE，一种非可微的对抗净化框架，通过自适应地最小化去噪自编码器（DAE）中的重建误差，将对抗性输入恢复为干净形式。通过迭代优化输入以减少 DAE 重建误差，同时保持图像质量，APuDAE 在 MNIST、CIFAR-10 和 ImageNet 上对强自适应攻击实现了最先进水平的鲁棒性，优于直接应用 DAE 和对抗训练方法。

ABSTRACT

With the rapid advancement and increased use of deep learning models in image identification, security becomes a major concern to their deployment in safety-critical systems. Since the accuracy and robustness of deep learning models are primarily attributed from the purity of the training samples, therefore the deep learning architectures are often susceptible to adversarial attacks. Adversarial attacks are often obtained by making subtle perturbations to normal images, which are mostly imperceptible to humans, but can seriously confuse the state-of-the-art machine learning models. We propose a framework, named APuDAE, leveraging Denoising AutoEncoders (DAEs) to purify these samples by using them in an adaptive way and thus improve the classification accuracy of the target classifier networks that have been attacked. We also show how using DAEs adaptively instead of using them directly, improves classification accuracy further and is more robust to the possibility of designing adaptive attacks to fool them. We demonstrate our results over MNIST, CIFAR-10, ImageNet dataset and show how our framework (APuDAE) provides comparable and in most cases better performance to the baseline methods in purifying adversaries. We also design adaptive attack specifically designed to attack our purifying model and demonstrate how our defense is robust to that.

研究动机与目标

• 解决深度学习模型在安全关键应用中对不可察觉的对抗性扰动的脆弱性问题。
• 开发一种净化对抗性输入的防御机制，而非仅检测对抗性输入。
• 改进直接基于 DAE 的净化方法，后者常导致图像模糊且易受基于梯度的攻击影响。
• 设计一种非可微的自适应净化过程，以抵抗白盒和灰盒自适应攻击。
• 评估针对专门针对净化机制的新型自适应攻击的鲁棒性。

提出的方法

• APuDAE 使用一个去噪自编码器（DAE），通过从含噪输入中重建干净图像来学习数据的底层分布。
• 与直接将 DAE 应用于对抗性输入不同，该方法通过迭代更新自适应地优化输入，以最小化重建误差。
• 迭代优化过程采用投影梯度法，沿降低重建误差的方向扰动输入图像，且约束在 ε 球内。
• 在每一步中引入随机噪声和变换，以提升鲁棒性并避免优化过程中的模式崩溃。
• 净化过程为非可微的，使其对针对防御机制的基于梯度的自适应攻击具有抵抗力。
• 通过两种自适应攻击对框架进行评估：一种通过梯度上升攻击分类器，另一种结合分类器损失与 DAE 重建损失，以同时欺骗分类器和 DAE。

实验结果

研究问题

• RQ1 自适应最小化 DAE 重建误差是否能在不模糊干净特征的情况下提升对抗性净化效果？
• RQ2 与直接应用 DAE 相比，非可微的、迭代的输入优化在鲁棒性和准确率方面表现如何？
• RQ3 所提出的方法是否能有效抵抗同时针对分类器和防御机制的强自适应攻击？
• RQ4 在优化过程中引入自适应噪声和变换是否能增强对逃避攻击的鲁棒性？
• RQ5 在多样化基准上，APuDAE 相较于对抗训练和其他最先进净化方法的表现如何？

主要发现

• 在 MNIST 上，APuDAE 在对抗攻击 A 下达到 89.1% 的准确率，在攻击 B 下达到 85.7%，显著优于直接 DAE 净化方法（分别为 79.9% 和 81.5%）。
• 在 CIFAR-10 上，APuDAE 在攻击 A 下达到 68.0% 的准确率，在攻击 B 下达到 50.7%，优于直接 DAE 方法（分别为 19.9% 和 27.5%）以及对抗训练方法（48.3%）。
• 在 ImageNet 上，APuDAE 在攻击 A 下达到 53.6% 的准确率，在攻击 B 下达到 40.7%，优于直接 DAE（分别为 13.4% 和 31.2%）以及对抗训练方法（25.4%）。
• 与直接应用 DAE 相比，自适应净化方法减少了图像模糊，更好地保留了干净输入的分类器准确率。
• 该方法的非可微特性使其对基于梯度的自适应攻击具有强韧性，表现为直接 DAE 出现一致性能下降，而 APuDAE 表现稳定。
• 在每一步优化中引入随机噪声和变换进一步提升了鲁棒性，尤其在针对低重建敏感度的边缘攻击中表现更优。