[论文解读] VisionGuard: Runtime Detection of Adversarial Inputs to Perception Systems

Yiannis Kantaros, Taylor J. Carpenter+5 more|arXiv (Cornell University)|Feb 23, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 8

一句话总结

VisionGuard 是一种轻量级的运行时防御机制，通过利用深度神经网络（DNN）感知系统对有损压缩的敏感性，检测对抗性输入。它通过比较输入图像在有损压缩前后的分类器输出，实现了在 MNIST、CIFAR10 和 ImageNet 上高精度检测，且计算开销极低。

ABSTRACT

Deep neural network (DNN) models have proven to be vulnerable to adversarial attacks. In this paper, we propose VisionGuard, a novel attack- and dataset-agnostic and computationally-light defense mechanism for adversarial inputs to DNN-based perception systems. In particular, VisionGuard relies on the observation that adversarial images are sensitive to lossy compression transformations. Specifically, to determine if an image is adversarial, VisionGuard checks if the output of the target classifier on a given input image changes significantly after feeding it a transformed version of the image under investigation. Moreover, we show that VisionGuard is computationally-light both at runtime and design-time which makes it suitable for real-time applications that may also involve large-scale image domains. To highlight this, we demonstrate the efficiency of VisionGuard on ImageNet, a task that is computationally challenging for the majority of relevant defenses. Finally, we include extensive comparative experiments on the MNIST, CIFAR10, and ImageNet datasets that show that VisionGuard outperforms existing defenses in terms of scalability and detection performance.

研究动机与目标

• 解决实时应用中 DNN 基感知系统面临的日益增长的对抗性攻击威胁。
• 开发一种计算效率高且在多种数据集和攻击类型下均有效的防御机制。
• 实现在大规模图像领域中对抗性检测的可扩展部署，而无需重新训练或进行数据集特定调优。

提出的方法

• VisionGuard 利用了对抗性图像对有损压缩高度敏感，而自然图像则不敏感的观察结果。
• 它使用有损压缩（例如 JPEG）对输入图像进行变换，生成一个扰动后的版本。
• 系统比较分类器在原始图像和压缩图像上的输出，检测显著的输出变化以识别对抗性输入。
• 该方法设计为与攻击类型无关且与数据集无关，无需事先了解攻击类型或训练数据。
• 它在运行时以极低开销运行，适用于实时系统。
• 该防御无需修改目标分类器，可实现即插即用的集成。

实验结果

研究问题

• RQ1 一种轻量级、运行时的防御机制是否能在不依赖模型特定或数据集特定训练的情况下检测对抗性输入？
• RQ2 有损压缩作为探测手段，在多种数据集中识别对抗性扰动的效率如何？
• RQ3 VisionGuard 在 ImageNet 等大规模基准测试中，能在保持高检测精度的同时将计算成本最小化到何种程度？
• RQ4 与现有最先进防御方法相比，VisionGuard 在可扩展性和性能方面表现如何？
• RQ5 该方法是否能跨不同攻击类型泛化，而无需进行适应性调整？

主要发现

• 在 MNIST、CIFAR10 和 ImageNet 上，VisionGuard 的检测性能优于现有防御方法。
• 该方法展现出强大的可扩展性，成功处理了计算挑战较大的 ImageNet 数据集，而大多数先前的防御方法在此数据集上均告失效。
• 它在设计阶段和运行时均保持了极低的计算开销，支持实时部署。
• 该防御在多种攻击类型和数据集中均表现有效，展现出鲁棒性，且无需重新训练或进行数据集特定调优。
• 核心机制——比较有损压缩前后分类器的输出——被证明在识别对抗性输入方面极为有效。