[论文解读] Towards Deep Neural Network Architectures Robust to Adversarial Examples

Shixiang Gu, Luca Rigazio|arXiv (Cornell University)|Dec 11, 2014

Adversarial Robustness in Machine Learning参考文献 19被引用 632

一句话总结

本文提出深度合约网络（DCNs），一种新颖的训练方法，通过借鉴合约自编码器的平滑惩罚项，增强深度神经网络对对抗样本的鲁棒性。通过强制实现对输入微小扰动的逐层不变性，DCNs 提高了生成对抗样本所需的最小扰动——与标准网络相比，对抗扰动增加了25–30%——同时在干净数据上保持了较高的测试准确率。

ABSTRACT

Recent work has shown deep neural networks (DNNs) to be highly susceptible to well-designed, small perturbations at the input layer, or so-called adversarial examples. Taking images as an example, such distortions are often imperceptible, but can result in 100% mis-classification for a state of the art DNN. We study the structure of adversarial examples and explore network topology, pre-processing and training strategies to improve the robustness of DNNs. We perform various experiments to assess the removability of adversarial examples by corrupting with additional noise and pre-processing with denoising autoencoders (DAEs). We find that DAEs can remove substantial amounts of the adversarial noise. How- ever, when stacking the DAE with the original DNN, the resulting network can again be attacked by new adversarial examples with even smaller distortion. As a solution, we propose Deep Contractive Network, a model with a new end-to-end training procedure that includes a smoothness penalty inspired by the contractive autoencoder (CAE). This increases the network robustness to adversarial examples, without a significant performance penalty.

研究动机与目标

• 解决深度神经网络（DNNs）对微小、难以察觉的输入扰动敏感而导致误分类的问题，即对抗样本问题。
• 探究是否可通过去噪技术（如去噪自编码器，DAEs）去除对抗样本，并验证此类去除是否能提升整体鲁棒性。
• 探讨对抗脆弱性的根本原因是否源于训练过程而非网络架构，并设计一种强制局部不变性的训练目标。
• 开发一种新的端到端训练框架，通过在每一层引入合约惩罚，显式学习训练数据周围的鲁棒、平坦表征。
• 评估将合约惩罚与数据增强（如高斯噪声）结合是否能进一步提升对抗鲁棒性，同时不牺牲干净数据上的准确率。

提出的方法

• 提出深度合约网络（DCNs），一种新型训练方法，将受合约自编码器（CAE）启发的平滑惩罚项应用于DNN的每一隐藏层。
• 惩罚项计算为隐藏表征相对于输入的雅可比矩阵的Frobenius范数，以促使网络在训练数据点附近学习平坦、不变的表征。
• 将合约惩罚整合进标准反向传播过程，支持端到端训练，同时保持在干净数据上的高分类准确率。
• 采用逐层合约目标，对每一隐藏层进行正则化，使其对输入的微小扰动不敏感，从而有效提升网络对对抗噪声的鲁棒性。
• 通过训练带与不带合约惩罚的模型，并比较对抗鲁棒性（以对抗样本的L2扰动衡量）来验证该方法。
• 在训练中引入高斯输入噪声，进一步增强DCN框架，以提高成功对抗攻击所需的最小扰动。

实验结果

研究问题

• RQ1 能否通过去噪自编码器（DAEs）有效去除对抗样本中的噪声，且是否能因此提升网络整体鲁棒性？
• RQ2 DNN对对抗样本的敏感性是否源于网络架构设计，还是源于训练目标函数的缺陷？
• RQ3 在每一层应用合约惩罚是否能提升网络对对抗扰动的鲁棒性，同时不降低干净数据上的准确率？
• RQ4 与标准DNN相比，使用深度合约网络时，对抗样本的最小L2扰动如何变化？
• RQ5 将合约惩罚与数据增强（如高斯噪声）结合，是否能进一步提升模型对对抗攻击的鲁棒性？

主要发现

• 去噪自编码器（DAEs）可成功去除输入中大部分对抗噪声，但所得到的堆叠DAE-DNN模型对新型、甚至更小的对抗样本仍保持脆弱。
• 与标准网络相比，深度合约网络（DCN）使对抗样本的平均L2扰动增加了25–30%：例如，在N100-100-10模型中，从0.084提升至0.107。
• DCNs在保持高干净测试准确率（如在CIFAR-10上误差仅0.9%）的同时，显著提高了对抗扰动，表明鲁棒性可被增强而无需性能折衷。
• 引入高斯噪声增强的DCN（DCN+GN,L1,σ=0.1）达到0.108的对抗扰动，优于标准网络及未使用合约惩罚但添加噪声的模型。
• 合约惩罚能有效将不变性传播至网络深层，表现为在多种架构（如N200-200-10、ConvNet）中对抗扰动持续增加。
• 结果表明，对抗脆弱性主要源于训练目标而非网络拓扑结构，且通过合约惩罚显式学习不变性是实现鲁棒性的可行路径。