[论文解读] Using Non-invertible Data Transformations to Build Adversarial-Robust Neural Networks

Qinglong Wang, Wenbo Guo+7 more|arXiv (Cornell University)|Oct 6, 2016

Adversarial Robustness in Machine Learning参考文献 33被引用 9

一句话总结

本文提出了一种新颖的防御框架，通过在将数据输入模型之前应用非可逆数据变换——特别是基于DLM和DrLIM的降维——来增强深度神经网络的对抗鲁棒性。该方法通过使特征反演不可行，提高了生成对抗样本的难度，在与最先进方法相比实现更优鲁棒性的同时，仅造成极小的准确率下降。

ABSTRACT

Deep neural networks have proven to be quite effective in a wide variety of machine learning tasks, ranging from improved speech recognition systems to advancing the development of autonomous vehicles. However, despite their superior performance in many applications, these models have been recently shown to be susceptible to a particular type of attack possible through the generation of particular synthetic examples referred to as adversarial samples. These samples are constructed by manipulating real examples from the training data distribution in order to "fool" the original neural model, resulting in misclassification (with high confidence) of previously correctly classified samples. Addressing this weakness is of utmost importance if deep neural architectures are to be applied to critical applications, such as those in the domain of cybersecurity. In this paper, we present an analysis of this fundamental flaw lurking in all neural architectures to uncover limitations of previously proposed defense mechanisms. More importantly, we present a unifying framework for protecting deep neural models using a non-invertible data transformation--developing two adversary-resilient architectures utilizing both linear and nonlinear dimensionality reduction. Empirical results indicate that our framework provides better robustness compared to state-of-art solutions while having negligible degradation in accuracy.

研究动机与目标

• 为解决深度神经网络对对抗样本的根本性脆弱性，这些样本利用了模型的可解释性和特征重要性。
• 克服现有防御方法（如对抗训练和知识蒸馏）在面对未见过或自适应攻击时的局限性。
• 设计一种防御框架，在不降低模型在合法输入上的准确率的前提下，增加可逆攻击的计算复杂度。
• 开发一种统一的架构，利用非可逆变换，防止攻击者重构输入特征或生成针对特定模型的对抗样本。
• 通过实证验证，非可逆降维可增强鲁棒性，同时在干净数据上保持高准确率。

提出的方法

• 在将数据输入DNN之前，使用DLM（基于判别LDA的映射）和DrLIM（具有局部性诱导映射的降维）进行非可逆降维，以转换输入数据。
• 采用线性和非线性降维技术，以在低维空间中保留高维样本之间的相似性，从而使对抗扰动更易被检测。
• 确保变换是非可逆的，以防止攻击者重构原始特征或通过辅助模型进行特征重要性分析。
• 将降维模块作为DNN架构中的预处理层集成，形成两阶段系统：变换后分类。
• 利用非可逆映射模糊特征级分析，使攻击者无法使用基于梯度或替代模型的攻击。
• 使用标准反向传播在变换后的数据上训练DNN，在保持干净数据高准确率的同时，提升对对抗样本的鲁棒性。

实验结果

研究问题

• RQ1 非可逆数据变换是否能在不降低干净准确率的前提下，显著增加生成对抗样本的难度？
• RQ2 保留局部相似性的降维是否能提升对对抗扰动的鲁棒性？
• RQ3 基于非可逆变换的防御机制是否能阻止攻击者使用辅助模型分析特征重要性？
• RQ4 与对抗训练和知识蒸馏相比，该框架在应对未见过的对抗攻击时，其鲁棒性如何？
• RQ5 是否可能通过使特征反演在计算上不可行，设计出对对抗攻击具有可证明鲁棒性的防御？

主要发现

• 在MNIST数据集上，所提框架在对抗样本上的误差率显著低于最先进方法。
• 框架在干净（非对抗）数据上的准确率几乎保持不变，准确率下降可忽略不计。
• 为变换后的模型生成的对抗样本需要显著更大的扰动，使其更易被检测。
• 理论分析表明，在第二种架构（基于DrLIM）下，由于变换的非可逆性，攻击者无法生成有效的对抗样本。
• 现有方法如对抗训练和知识蒸馏仍显不足，因为攻击者仍能通过利用模型结构和梯度生成对抗样本。
• DLM和DrLIM均为非可逆、计算高效，并保留了关键的特征和相似性信息，使其成为该防御框架的理想选择。