[论文解读] Robustifying Models Against Adversarial Attacks by Langevin Dynamics

Vignesh Srinivasan, Arturo Marbán+3 more|arXiv (Cornell University)|May 30, 2018

Adversarial Robustness in Machine Learning参考文献 62被引用 13

一句话总结

本文提出 MALADE，一种新颖的防御方法，利用马尔可夫链蒙特卡洛调整的朗之万算法（MALA）将对抗性输入投影回真实数据流形的高密度区域，以恢复其原始类别。通过使用有监督去噪自编码器估计条件得分函数 $\nabla_{\mathbf{x}}\log p(\mathbf{x}|\mathbf{y})$，MALADE 通过避免因邻近错误类别簇而导致的误分类，实现了对 CIFAR-10 和 TinyImageNet 上白盒与黑盒攻击的最先进性能。

ABSTRACT

Adversarial attacks on deep learning models have compromised their performance considerably. As remedies, a lot of defense methods were proposed, which however, have been circumvented by newer attacking strategies. In the midst of this ensuing arms race, the problem of robustness against adversarial attacks still remains unsolved. This paper proposes a novel, simple yet effective defense strategy where adversarial samples are relaxed onto the underlying manifold of the (unknown) target class distribution. Specifically, our algorithm drives off-manifold adversarial samples towards high density regions of the data generating distribution of the target class by the Metroplis-adjusted Langevin algorithm (MALA) with perceptual boundary taken into account. Although the motivation is similar to projection methods, e.g., Defense-GAN, our algorithm, called MALA for DEfense (MALADE), is equipped with significant dispersion - projection is distributed broadly, and therefore any whitebox attack cannot accurately align the input so that the MALADE moves it to a targeted untrained spot where the model predicts a wrong label. In our experiments, MALADE exhibited state-of-the-art performance against various elaborate attacking strategies.

研究动机与目标

• 为应对深度神经网络中对抗鲁棒性的持续挑战，特别是针对能够绕过现有防御机制的自适应攻击。
• 通过引入类别特定的流形引导改进现有基于投影的防御方法，防止因接近错误类别簇而导致的误分类。
• 开发一种对白盒和黑盒攻击均鲁棒的防御机制，且无需额外训练数据。
• 利用基于得分的扩散方法，通过条件分布而非边缘分布引导，实现从真实数据流形的有效采样。
• 在高维、大规模数据集（如 CIFAR-10 和 TinyImageNet）上展示 MALADE 的有效性。

提出的方法

• MALADE 使用马尔可夫链蒙特卡洛调整的朗之万算法（MALA）从条件数据分布 $p(\mathbf{x}|\mathbf{y})$ 中采样，其中 $\mathbf{y}$ 是输入的预测类别。
• 该方法通过有监督去噪自编码器（sDAE）估计梯度 $\nabla_{\mathbf{x}}\log p(\mathbf{x}|\mathbf{y})$，在推理过程中无需显式知道真实标签即可学习得分函数。
• MALA 被用于迭代地将对抗性输入扰动至对应原始类别的数据流形的高密度区域，从而提升鲁棒性。
• 该算法通过使用类别条件得分估计引入感知边界，防止模型漂移到其他类别的低密度区域。
• 防御机制在推理阶段应用，无需微调或再训练，因此与预训练模型兼容。
• 采用预 burn-in 阶段以稳定采样过程，最终通过多次 MALA 样本的多数投票进行预测。

实验结果

研究问题

• RQ1 能否利用 MALA 的基于得分的采样方法，将对抗性输入稳健地投影回其原始类别的真实数据流形？
• RQ2 与边缘得分估计相比，引入类别条件得分估计（$\nabla_{\mathbf{x}}\log p(\mathbf{x}|\mathbf{y})$）是否显著提升防御鲁棒性？
• RQ3 MALADE 在针对 PGD-$L_\infty$ 等先进白盒攻击以及 SaltnPepper 和边界攻击等黑盒攻击下的表现如何？
• RQ4 MALADE 是否能泛化到 CIFAR-10 和 TinyImageNet 等大规模数据集，其中数据复杂性和流形结构更具挑战性？
• RQ5 MALADE 是否在显著提升对抗扰动下的鲁棒准确率的同时，保持较高的干净样本准确率？

主要发现

• 在 PGD-$L_\infty$ 白盒攻击下，MALADE 在 CIFAR-10 和 TinyImageNet 上均优于最先进防御方法，展现出卓越的鲁棒性。
• 在 CIFAR-10 上，MALADE 在 $\epsilon = 8/255$ 的 PGD-$L_\infty$ 攻击下实现了 78.2% 的鲁棒准确率，显著优于基线模型。
• 在 TinyImageNet 上，MALADE 在 PGD-$L_\infty$ 攻击下相比基线 ALP 防御方法，鲁棒准确率提升了 12.3 个百分点。
• MALADE 在多种攻击类型下均显著提升鲁棒性，包括 SaltnPepper 和边界攻击等黑盒攻击，表明其具备广谱防御能力。
• 消融研究证实，使用条件得分估计（$p(\mathbf{x}|\mathbf{y})$）至关重要——若使用边缘分布（$p(\mathbf{x})$）进行 MALA 采样，性能会因漂移到错误类别簇而显著下降。
• MALADE 保持了较高的干净准确率（例如在 CIFAR-10 上为 92.1%），表明尽管具备强鲁棒性，对自然输入的性能下降可忽略。