[论文解读] Threat Model-Agnostic Adversarial Defense using Diffusion Models

Tsachi Blau, Roy Ganz+3 more|arXiv (Cornell University)|Jul 17, 2022

Adversarial Robustness in Machine Learning被引用 14

一句话总结

该论文提出了一种与威胁模型无关的对抗性防御方法，利用预训练的扩散模型实现随机图像去噪。通过向受攻击图像添加独立同分布的高斯噪声，并利用扩散过程迭代去噪，该方法能有效去除对抗性扰动，同时保留语义内容，在无需微调分类器的情况下，对多种攻击类型均实现了最先进（SOTA）的鲁棒性。

ABSTRACT

Deep Neural Networks (DNNs) are highly sensitive to imperceptible malicious perturbations, known as adversarial attacks. Following the discovery of this vulnerability in real-world imaging and vision applications, the associated safety concerns have attracted vast research attention, and many defense techniques have been developed. Most of these defense methods rely on adversarial training (AT) -- training the classification network on images perturbed according to a specific threat model, which defines the magnitude of the allowed modification. Although AT leads to promising results, training on a specific threat model fails to generalize to other types of perturbations. A different approach utilizes a preprocessing step to remove the adversarial perturbation from the attacked image. In this work, we follow the latter path and aim to develop a technique that leads to robust classifiers across various realizations of threat models. To this end, we harness the recent advances in stochastic generative modeling, and means to leverage these for sampling from conditional distributions. Our defense relies on an addition of Gaussian i.i.d noise to the attacked image, followed by a pretrained diffusion process -- an architecture that performs a stochastic iterative process over a denoising network, yielding a high perceptual quality denoised outcome. The obtained robustness with this stochastic preprocessing step is validated through extensive experiments on the CIFAR-10 dataset, showing that our method outperforms the leading defense methods under various threat models.

研究动机与目标

• 开发一种可泛化至未见对抗性威胁模型的防御机制，以克服特定威胁模型下对抗训练的局限性。
• 利用生成建模实现基于预处理的鲁棒化，使任何预训练分类器均可在不微调的情况下获得防御能力。
• 通过扩散采样将受扰动图像投影回干净图像流形，实现对多样化对抗攻击的高鲁棒性。
• 通过采用轻量级扩散采样策略并减少采样步数，确保计算效率并增强对强攻击的抵抗能力。

提出的方法

• 在将受攻击输入图像送入预训练扩散模型之前，先添加独立同分布的高斯噪声。
• 扩散过程采用基于最小均方误差（MMSE）的去噪器，并通过朗之万动力学控制噪声注入。
• 采样从特定扩散步骤的噪声受攻击图像初始化，实现向干净图像分布的条件生成。
• 通过调节扩散步数，平衡感知保真度与扰动去除效果。
• 仅使用DDIM扩散调度的前T*步，降低计算成本并增加攻击者破解难度。
• 分类器与扩散模型在干净图像上独立训练，确保模型无关且威胁模型无关的防御特性。

实验结果

研究问题

• RQ1 基于扩散的预处理方法是否能在多种未见的对抗性威胁模型下实现鲁棒性？
• RQ2 扩散步数如何影响扰动去除与感知质量之间的权衡？
• RQ3 一种随机的、不可微的防御机制是否能抵抗使用期望变换（EOT）和基于梯度优化的强白盒对抗攻击？
• RQ4 在干净数据上预训练的扩散模型是否能有效泛化至训练期间未见过的攻击类型？

主要发现

• 所提方法在CIFAR-10上对多种威胁模型实现了最先进（SOTA）的鲁棒准确率，包括$ L_\infty $和$ L_2 $攻击，且扰动预算各异。
• 在$ L_\infty $威胁模型下，当$ \epsilon = 8/255 $和$ \epsilon = 16/255 $时，鲁棒准确率超过90%，优于现有防御基线。
• 当使用仅14步的子采样扩散调度时，即使在最强的已知攻击（白盒 + EOT）下，该方法仍保持高鲁棒性。
• 存在一个最优的扩散深度，此时鲁棒性达到峰值——步数过少无法去除扰动，步数过多则会降低感知质量，并使准确率降至约10%。
• 该防御本质上是威胁模型无关的，因为它无需微调分类器，也无需了解攻击类型。
• 该方法计算效率高，且由于扩散采样过程的随机性和不可微性，对攻击具有强鲁棒性。