[论文解读] Neural Networks with Structural Resistance to Adversarial Attacks

Luca de Alfaro|arXiv (Cornell University)|Sep 25, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用 5

一句话总结

该论文提出RBFI单元——基于ℓ∞范数和独立输入缩放的径向基函数单元——为神经网络赋予了固有的对抗攻击抵抗力。尽管其高度非线性且使用标准梯度难以训练，RBFI网络在强PGD攻击下仍能保持90%以上的准确率，而ReLU和Sigmoid网络在此条件下准确率降至2%以下，即使仅使用标准数据进行训练，未引入对抗样本。

ABSTRACT

In adversarial attacks to machine-learning classifiers, small perturbations are added to input that is correctly classified. The perturbations yield adversarial examples, which are virtually indistinguishable from the unperturbed input, and yet are misclassified. In standard neural networks used for deep learning, attackers can craft adversarial examples from most input to cause a misclassification of their choice. We introduce a new type of network units, called RBFI units, whose non-linear structure makes them inherently resistant to adversarial attacks. On permutation-invariant MNIST, in absence of adversarial attacks, networks using RBFI units match the performance of networks using sigmoid units, and are slightly below the accuracy of networks with ReLU units. When subjected to adversarial attacks, networks with RBFI units retain accuracies above 90% for attacks that degrade the accuracy of networks with ReLU or sigmoid units to below 2%. RBFI networks trained with regular input are superior in their resistance to adversarial attacks even to ReLU and sigmoid networks trained with the help of adversarial examples. The non-linear structure of RBFI units makes them difficult to train using standard gradient descent. We show that networks of RBFI units can be efficiently trained to high accuracies using pseudogradients, computed using functions especially crafted to facilitate learning instead of their true derivatives. We show that the use of pseudogradients makes training deep RBFI networks practical, and we compare several structural alternatives of RBFI networks for their accuracy.

研究动机与目标

• 为解决深度神经网络对对抗样本的根本性脆弱性，其根源在于标准激活函数的局部线性特性。
• 开发一种神经网络架构，其本身具备对抗攻击的鲁棒性，无需依赖对抗训练或复杂正则化。
• 实现对高度非线性网络的有效训练，利用伪梯度克服不可微分组件中的梯度消失问题。
• 评估基于RBFI的网络在标准对抗攻击下的鲁棒性和准确率，尤其与ReLU和Sigmoid网络进行对比。
• 探究结构化非线性，特别是基于ℓ∞-范数的RBF单元，是否能在对抗条件下优于标准架构，在准确率和鲁棒性方面均表现更优。

提出的方法

• 提出RBFI单元作为新型网络单元类型，源自径向基函数，但采用ℓ∞范数和独立输入缩放，以打破多输入线性性。
• 对不可微分组件（如最大值运算符和高斯函数中的指数项）使用伪梯度——人工定义的导数——以在非光滑单元中实现反向传播。
• 采用改进的损失函数，结合平方误差损失与AdaDelta优化，以有效训练深层RBFI网络。
• 引入一种正则化方案，通过超参数$c$提升高$u$-bound RBFI网络的鲁棒性。
• 在多种架构和训练范式（包括对抗训练）下，将RBFI网络与ReLU和Sigmoid网络进行比较。
• 基于方程(7)和(8)推导出的敏感度边界用于分析理论鲁棒性，但发现其预测能力弱于实证结果。

实验结果

研究问题

• RQ1 能否设计一种具有内在非线性的神经网络架构，在无需对抗训练的情况下抵抗对抗攻击？
• RQ2 在径向基函数中使用ℓ∞范数与标准ℓ2-基RBF或ReLU/Sigmoid单元相比，对对抗鲁棒性有何影响？
• RQ3 伪梯度在多大程度上能够实现对包含不可微分激活组件的深层网络的有效训练？
• RQ4 通过RBFI单元实现的结构性抵抗，是否在泛化到未见过的攻击方面优于对抗训练？
• RQ5 架构选择（如深度、宽度和正则化）如何影响RBFI网络的鲁棒性和准确率？

主要发现

• RBFI网络在ℓ∞-范数为3的PGD攻击下仍能保持超过90%的测试准确率，而ReLU和Sigmoid网络在相同条件下准确率降至2%以下。
• 即使仅使用标准数据进行训练，RBFI网络的表现仍优于经过对抗微调的ReLU和Sigmoid网络，证明其具备结构性鲁棒性。
• 一个128-128-128-128-128-10的RBFI网络在20个周期后达到95.53%的准确率，而同等规模的Sigmoid网络无法有效训练，准确率仅为11.24%。
• 通过$c = 0.0001$的正则化，高$u$-bound RBFI网络的敏感度边界从1,072.90降低至231.90，显著提升了鲁棒性，且准确率损失可忽略。
• 通过方程(7)和(8)计算的敏感度边界对实际鲁棒性的预测能力较差，例如ReLU网络即使边界值较高，仍会在简单FGSM攻击下失效。
• 尽管RBF具有更规则的范数结构，RBFI单元在训练稳定性和鲁棒性方面仍优于标准RBF单元，表明基于ℓ∞的非线性在对抗抵抗方面更具优势。