[论文解读] The Limitations of Deep Learning in Adversarial Settings

Nicolas Papernot, Patrick McDaniel+4 more|arXiv (Cornell University)|Nov 24, 2015

Adversarial Robustness in Machine Learning参考文献 33被引用 71

一句话总结

该论文提出了一种新颖的方法，通过计算对抗性显著性图中的前向导数，在深度神经网络（DNNs）中生成对抗性样本，从而实现精确且低失真的扰动，在平均仅改变4.02%输入特征的情况下，实现97%的目标误分类成功率。

ABSTRACT

Deep learning takes advantage of large datasets and computationally efficient training algorithms to outperform other approaches at various machine learning tasks. However, imperfections in the training phase of deep neural networks make them vulnerable to adversarial samples: inputs crafted by adversaries with the intent of causing deep neural networks to misclassify. In this work, we formalize the space of adversaries against deep neural networks (DNNs) and introduce a novel class of algorithms to craft adversarial samples based on a precise understanding of the mapping between inputs and outputs of DNNs. In an application to computer vision, we show that our algorithms can reliably produce samples correctly classified by human subjects but misclassified in specific targets by a DNN with a 97% adversarial success rate while only modifying on average 4.02% of the input features per sample. We then evaluate the vulnerability of different sample classes to adversarial perturbations by defining a hardness measure. Finally, we describe preliminary work outlining defenses against adversarial samples by defining a predictive measure of distance between a benign input and a target classification.

研究动机与目标

• 为了形式化在对抗性环境中针对深度神经网络的攻击者威胁模型。
• 为解决DNNs对利用网络组件中不完美泛化性和线性的对抗性样本的脆弱性问题。
• 开发一种方法，实现以最小输入扰动为目标的误分类。
• 通过估计良性输入与目标分类之间的距离，引入一种可预测的鲁棒性度量。

提出的方法

• 提出一种新的优化框架，通过求解 min‖δₓ‖ s.t. F(X + δₓ) = Y* 来生成对抗性样本，其中 δₓ 为扰动向量，F 为DNN函数。
• 引入前向导数作为DNN学习函数的雅可比矩阵，实现从输入扰动到输出变化的直接映射。
• 利用前向导数构建对抗性显著性图，以识别对实现特定误分类最具影响力的输入特征。
• 采用启发式搜索技术，高效定位能引发特定目标输出且失真最小的扰动。
• 将该方法应用于前馈DNNs，支持监督和无监督架构。
• 通过在对抗性样本上训练DNNs并测量成功率降低和失真增加情况，评估鲁棒性。

实验结果

研究问题

• RQ1 如何系统性地生成最小输入扰动的对抗性样本，以实现在DNNs中的目标误分类？
• RQ2 前向导数在识别DNNs中对分类变化最敏感的输入特征方面起什么作用？
• RQ3 对抗性样本在不同DNN架构和数据集上的有效性程度如何？
• RQ4 通过对抗性样本训练是否能提升DNNs对未来攻击的鲁棒性？
• RQ5 如何定义一种输入到目标距离的预测度量，以评估对抗性脆弱性？

主要发现

• 所提出的方法在平均仅改变4.02%输入特征的情况下，实现了97%的对抗性误分类成功率。
• 使用前向导数生成的对抗性样本即使在人类受试者正确分类的情况下，仍能被DNNs成功误分类。
• 在对抗性样本上训练DNNs使后续攻击的成功率降低7.2%，平均失真度提高37.5%。
• 基于前向导数的显著性图优于基于梯度的方法，能够实现更精确且更低失真的扰动。
• 对抗性样本在不同DNN架构之间表现出可迁移性，证实了其鲁棒性和泛化能力。
• 研究表明，通过对抗性训练可提升对抗性鲁棒性，但对抗性输入的检测仍是开放性挑战。