[论文解读] Suppressing the Unusual: towards Robust CNNs using Symmetric Activation Functions

Qiyang Zhao, Lewis D. Griffin|arXiv (Cornell University)|Mar 16, 2016

Adversarial Robustness in Machine Learning参考文献 20被引用 20

一句话总结

本文提出对称激活函数（SAFs）以通过抑制特征图中的异常或离群信号来增强深度卷积神经网络（CNN）的鲁棒性。通过用SAFs（如1-D径向基函数或mReLU）替换标准的ReLU或Sigmoid单元，CNN在干净数据上的准确率损失极小，同时显著提升了对对抗性、无意义和噪声样本的鲁棒性。

ABSTRACT

Many deep Convolutional Neural Networks (CNN) make incorrect predictions on adversarial samples obtained by imperceptible perturbations of clean samples. We hypothesize that this is caused by a failure to suppress unusual signals within network layers. As remedy we propose the use of Symmetric Activation Functions (SAF) in non-linear signal transducer units. These units suppress signals of exceptional magnitude. We prove that SAF networks can perform classification tasks to arbitrary precision in a simplified situation. In practice, rather than use SAFs alone, we add them into CNNs to improve their robustness. The modified CNNs can be easily trained using popular strategies with the moderate training load. Our experiments on MNIST and CIFAR-10 show that the modified CNNs perform similarly to plain ones on clean samples, and are remarkably more robust against adversarial and nonsense samples.

研究动机与目标

• 为解决深度CNN对对抗性和无意义样本的脆弱性问题，这些样本是难以察觉的扰动或随机生成的输入，会引发高置信度的误分类。
• 探究在不改变网络架构或训练过程的前提下，通过抑制网络层内异常幅度的信号是否能提升鲁棒性。
• 提出一种轻量级、即插即用的解决方案——对称激活函数（SAFs），以在最小训练开销下增强鲁棒性。
• 在标准基准数据集（MNIST和CIFAR-10）上评估SAFs在各种扰动类型（包括对抗性、无意义和噪声样本）下的有效性。

提出的方法

• 引入对称激活函数（SAFs），包括1-D径向基函数（RBF）和改进的ReLU（mReLU），其设计原理是通过抑制输入中异常幅度的信号来实现鲁棒性，灵感来源于径向基函数固有的鲁棒性。
• 通过在全连接层或卷积层中替换或插入SAFs，将SAFs集成到CNN中，同时保持原始网络结构和训练流程不变。
• 采用标准训练策略（如带动量的SGD），无需额外正则化或对抗性训练，确保计算开销极低。
• 在训练过程中使用随机和均值数据增强（如“r-m”变体），以进一步提升鲁棒性，尤其在CIFAR-10上表现更优。
• 使用扰动强度β和PSNR量化输入失真程度，通过测量在干净、对抗性、无意义和噪声样本上的准确率来评估鲁棒性。
• 通过在不同扰动水平下比较误差率和分类准确率，重点评估泛化能力和稳定性。

实验结果

研究问题

• RQ1 对称激活函数能否抑制CNN特征图中的异常信号，从而提升对对抗性和无意义样本的鲁棒性？
• RQ2 将SAFs集成到标准CNN中是否能在不降低干净数据性能的前提下提升鲁棒性？
• RQ3 在对抗性、无意义和噪声扰动下，基于SAFs的CNN模型与标准ReLU模型相比性能如何？
• RQ4 SAFs能否与标准训练流程有效结合，而无需对抗性训练或架构修改？
• RQ5 是否存在鲁棒性与泛化能力之间的相关性，如部分SAFs变体中提升的测试准确率所暗示的那样？

主要发现

• mReLU-r-m变体在干净CIFAR-10样本上的误差率为0.226，略优于普通CNN的0.217，表明其具有潜在的泛化优势。
• 在β = 0.050的对抗性样本上，mReLU-r-m模型的误差率为0.541，而普通CNN为0.933，显示出鲁棒性的显著提升。
• 在无意义样本上，当β = 0.075时，mReLU-r-m模型的误差率为0.008，而普通CNN为0.880，表现出近乎完美的鲁棒性。
• 在β = 0.150的噪声样本上，mReLU-r-m模型的误差率为0.295，而普通CNN为0.656，表明其对高噪声输入具有极强的抗性。
• 基于SAFs的模型在干净数据上保持了相似的准确率，同时在所有扰动数据类型上表现出显著更优的性能，证实了异常信号的有效抑制。
• 在MNIST上的鲁棒性提升比在CIFAR-10上更明显，可能是因为CIFAR-10训练样本更少且决策边界更敏感。