[论文解读] Universal Adversarial Perturbations: A Survey

Ashutosh Chaubey, Nikhil Agrawal+3 more|arXiv (Cornell University)|May 16, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用 27

一句话总结

本综述全面概述了深度学习中的通用对抗扰动（UAPs），涵盖数据驱动与数据无关的UAP生成方法、防御机制，以及在视觉和自然语言处理任务中的应用。研究表明，UAPs是近乎不可察觉、可迁移的扰动，能够在极低计算成本下欺骗任何输入的深度神经网络，尽管对数据依赖性较低，仍能实现高欺骗率。

ABSTRACT

Over the past decade, Deep Learning has emerged as a useful and efficient tool to solve a wide variety of complex learning problems ranging from image classification to human pose estimation, which is challenging to solve using statistical machine learning algorithms. However, despite their superior performance, deep neural networks are susceptible to adversarial perturbations, which can cause the network's prediction to change without making perceptible changes to the input image, thus creating severe security issues at the time of deployment of such systems. Recent works have shown the existence of Universal Adversarial Perturbations, which, when added to any image in a dataset, misclassifies it when passed through a target model. Such perturbations are more practical to deploy since there is minimal computation done during the actual attack. Several techniques have also been proposed to defend the neural networks against these perturbations. In this paper, we attempt to provide a detailed discussion on the various data-driven and data-independent methods for generating universal perturbations, along with measures to defend against such perturbations. We also cover the applications of such universal perturbations in various deep learning tasks.

研究动机与目标

• 系统性地对生成通用对抗扰动（UAPs）的数据驱动与数据无关方法进行分类与分析。
• 回顾现有的UAP防御技术，包括扰动修复网络（PRN）和最小-最大训练。
• 研究UAPs在不同神经网络架构之间的可迁移性与泛化特性。
• 探索UAPs在图像分类、目标检测、语义分割、深度估计、图像检索和文本分类等任务中的实际应用。
• 识别当前在提升UAP欺骗率与实际部署中鲁棒性方面的开放挑战与未来研究方向。

提出的方法

• 根据对训练数据的依赖性，将UAP生成方法分类为数据驱动与数据无关两类。
• 回顾类似Moosavi-Dezfooli等人（2017）所用的基于梯度的优化技术，通过损失最大化来构造UAP。
• 分析利用生成对抗网络（GANs）生成UAP的通用对抗网络（UANs）方法。
• 研究不依赖数据的特征破坏技术，通过修改多层中间特征来生成UAP。
• 调查防御策略，如PRN、最小-最大优化及共享训练流程，以增强模型鲁棒性。
• 评估代理目标与多样性损失的使用，以提高UAP生成效率与欺骗率。

实验结果

研究问题

• RQ1 数据驱动与数据无关的UAP生成方法在设计与有效性方面有何差异？
• RQ2 UAP的关键特性（如可迁移性与不可察觉性）是什么，以及如何实现？
• RQ3 UAP在不同架构与任务（包括视觉与自然语言处理）之间具有多大程度的泛化能力？
• RQ4 哪些防御机制对UAP最为有效，其鲁棒性与可扩展性如何比较？
• RQ5 当前UAP技术在欺骗率与实际适用性方面存在哪些局限性？

主要发现

• UAPs在最先进的模型上以极低计算成本实现高欺骗率，使其适用于实时攻击。
• 数据无关方法（如特征破坏）无需访问训练数据即可生成UAP，支持白盒攻击。
• UAP在不同架构间具有良好的泛化能力，并可迁移至未见过的模型，表明深度神经网络存在根本性漏洞。
• 如PRN与最小-最大训练等防御方法虽能提升鲁棒性，但并非普遍有效，凸显了对更强防御机制的需求。
• 在自然语言处理中，如通过嵌入扰动进行词替换的UAP，可在保持语义意义的同时使句子被错误分类。
• 尽管已有进展，UAP的欺骗率仍低于单样本对抗攻击，限制了其在现实世界中的影响。