[论文解读] SafetyNet: Detecting and Rejecting Adversarial Examples Robustly

Jiajun Lu, Theerasit Issaranon+1 more|arXiv (Cornell University)|Apr 1, 2017

Adversarial Robustness in Machine Learning参考文献 23被引用 41

一句话总结

本文提出 SafetyNet，一种通过分析深度网络中量化 ReLU 激活模式并使用 RBF-SVM 检测器来检测并拒绝对抗性样本的鲁棒防御方法。该方法在多个数据集和网络上对类型 I 和类型 II 攻击均表现出强大抵抗力，误报率极低，且在面对未见过的攻击方法时仍保持高检测率。

ABSTRACT

We describe a method to produce a network where current methods such as DeepFool have great difficulty producing adversarial samples. Our construction suggests some insights into how deep networks work. We provide a reasonable analyses that our construction is difficult to defeat, and show experimentally that our method is hard to defeat with both Type I and Type II attacks using several standard networks and datasets. This SafetyNet architecture is used to an important and novel application SceneProof, which can reliably detect whether an image is a picture of a real scene or not. SceneProof applies to images captured with depth maps (RGBD images) and checks if a pair of image and depth map is consistent. It relies on the relative difficulty of producing naturalistic depth maps for images in post processing. We demonstrate that our SafetyNet is robust to adversarial examples built from currently known attacking approaches.

研究动机与目标

• 开发一种无需依赖梯度防御的可靠检测机制，用于检测并拒绝对抗性样本。
• 解决现有检测方法对类型 II 攻击的脆弱性，即攻击者构造出既能误导分类又可逃避检测的输入。
• 提升对抗性检测在多样化攻击类型（包括可迁移攻击与通用扰动）上的泛化能力。
• 利用 SceneProof（SafetyNet 的新型应用）在真实世界应用中可靠检测不自然的图像-深度配对。
• 提供一个理论基础扎实、难以被基于梯度或迁移的攻击所攻破的鲁棒检测框架。

提出的方法

• SafetyNet 将预训练的深度分类器（如 VGG19 或 ResNet）与 RBF-SVM 检测器结合，后者分析深层 ReLU 激活的离散码。
• 激活模式被量化为离散码，形成紧凑表示，以捕捉高层特征统计特性。
• RBF-SVM 在自然图像上进行训练，以学习有效激活模式的分布，从而将偏离该分布的样本标记为对抗性样本。
• 该方法通过确保即使在不以错误分类为目标时，对抗性样本仍会引发不自然的激活模式，从而对类型 II 攻击具备鲁棒性。
• SceneProof 将 SafetyNet 扩展至 RGB-D 图像，通过检测 RGB 图像与其深度图之间的一致性，使用相同的基于激活的检测原理。
• 系统在自然场景配对上进行训练，并在多样化的人工不自然输入（如深度图归零、下采样、压缩、合成）上进行测试，确保对未见过的不自然数据类型具有泛化能力。

实验结果

研究问题

• RQ1 基于深层 ReLU 激活模式的检测器是否能可靠地区分多种攻击类型下的对抗性样本与自然输入？
• RQ2 所提出的检测机制是否对类型 II 攻击具备鲁棒性，即攻击者构造出既被错误分类又不被检测的输入？
• RQ3 该检测机制是否能泛化至未见过的数据分布，如人工篡改或合成的 RGB-D 配对？
• RQ4 当使用训练期间未见过的攻击方法（包括迁移攻击）时，检测器的有效性在多大程度上仍保持？
• RQ5 该检测框架是否能有效应用于真实世界的多模态数据（如 RGB-D 图像），以检测不自然或伪造的输入？

主要发现

• 在 ImageNet-1000 上，SafetyNet 对 DeepFool5 攻击下的错误分类对抗性样本实现了 97.67% 的检测率，仅有 2.32% 的对抗性样本逃逸检测。
• 在 CIFAR-10 上，正则化的 m-SVM 检测器在快速梯度攻击下对错误分类对抗性样本的检测率达到 95.51%，其中 96.24% 的此类样本被拒绝。
• 对于 ImageNet-1000 上的类型 II 攻击，正则化的 m-SVM 检测器检测到 97.67% 的错误分类对抗性样本，表明其具备强大鲁棒性。
• SceneProof 高度准确地检测出不自然的图像-深度配对：100% 的低质量 JPG 压缩配对和 95.51% 的合成 Sintel 配对被拒绝。
• 该检测器对未见过的不自然输入泛化良好，在 CIFAR-10 测试集中对未见过攻击生成的对抗性样本，成功拒绝了 87.94%。
• 该方法显著优于先前的检测方法（如 Metzen 等人提出的），后者极易被训练中未使用的对抗性样本欺骗。