[论文解读] Robust Convolutional Neural Networks under Adversarial Noise

Jonghoon Jin, Ayşegül Dündar+1 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 25被引用 67

一句话总结

本文提出一种随机前馈卷积神经网络（CNN），通过将输入像素建模为具有高斯噪声的随机变量，增强了对对抗性噪声的鲁棒性。通过在卷积、ReLU 和最大池化层中引入参数化均值和方差（每个像素独立），该模型在强对抗性噪声下提升了分类准确率，尤其在 ImageNet 等困难任务上优于标准模型和对抗性训练模型。

ABSTRACT

Recent studies have shown that Convolutional Neural Networks (CNNs) are vulnerable to a small perturbation of input called "adversarial examples". In this work, we propose a new feedforward CNN that improves robustness in the presence of adversarial noise. Our model uses stochastic additive noise added to the input image and to the CNN models. The proposed model operates in conjunction with a CNN trained with either standard or adversarial objective function. In particular, convolution, max-pooling, and ReLU layers are modified to benefit from the noise model. Our feedforward model is parameterized by only a mean and variance per pixel which simplifies computations and makes our method scalable to a deep architecture. From CIFAR-10 and ImageNet test, the proposed model outperforms other methods and the improvement is more evident for difficult classification tasks or stronger adversarial noise.

研究动机与目标

• 解决标准CNN对对抗性样本的脆弱性——即微小、难以察觉的输入扰动导致误分类的问题。
• 在移动成像等实际应用中提升鲁棒性，这些场景通常存在高帧率和可变传感器噪声。
• 开发一种可扩展的前馈CNN架构，在无需对抗性训练的情况下维持对抗噪声下的性能。
• 通过参数化统计建模在所有层中传播输入不确定性，实现鲁棒决策。
• 证明随机建模在ImageNet等挑战性数据集上提升泛化性和鲁棒性的有效性。

提出的方法

• 将每个输入像素建模为均值等于原始像素值、方差固定为σ²的正态分布随机变量，从而在输入层引入随机性。
• 修改卷积层，计算输出分布的一阶和二阶矩（均值与方差），使用公式 E[Y] = ΣωE[X] + b 和 Var[Y] = Σω²Var[X]。
• 通过推导右截断正态分布的均值与方差，实现随机ReLU激活，其中 Y = max(X, θ)，使用标准正态分布的CDF Φ 和PDF φ。
• 利用两个正态随机变量最大值的精确分布实现随机最大池化，通过按均值排序减少近似误差。
• 采用仅每个像素一个均值和一个方差的参数化模型，实现对AlexNet和NIN等深层架构的可扩展性。
• 使用标准或对抗性目标函数进行训练，推理时应用随机前馈模型以提升鲁棒性。

实验结果

研究问题

• RQ1 在输入层和网络层引入随机性是否可在无需对抗性训练的情况下提升对对抗性噪声的鲁棒性？
• RQ2 在对抗性噪声水平逐渐增加的情况下，所提出的随机前馈模型相较于标准CNN和对抗性训练CNN的表现如何？
• RQ3 在强噪声条件下，该随机模型是否在更困难的分类任务（如ImageNet）上带来更大的准确率提升？
• RQ4 在对抗性噪声下的鲁棒性与在干净自然图像上的性能之间存在何种权衡？
• RQ5 该随机模型能否通过与标准CNN集成实现有效结合，在仅造成轻微准确率损失的前提下显著提升整体鲁棒性？

主要发现

• 在CIFAR-10上，随机前馈（FF）模型在0.5像素对抗噪声下将准确率从标准训练的72.3%提升至78.1%，提升5.8%。
• 在ImageNet上，随机FF模型在标准训练下于0.01像素对抗噪声下达到33.4%准确率，而标准训练仅24.8%，提升8.6%。
• 在更强噪声（0.5像素）下，随机FF在ImageNet上仍保持33.4%准确率，而对抗性训练未能收敛，性能下降至接近随机水平。
• 当随机模型与标准CNN集成后，ImageNet在对抗噪声下的鲁棒性提升达13.12%，且干净数据集准确率仅下降0.28%。
• 该方法可扩展至AlexNet和NIN等深层网络，且基于每个像素的均值与方差的参数化噪声模型可实现高效计算。
• 若输入方差过高（趋近于均匀分布）或过低（数值不稳定），模型性能会下降，表明对超参数调优较为敏感。