[论文解读] Robust Sparse Regularization: Simultaneously Optimizing Neural Network Robustness and Compactness

Adnan Siraj Rakin, Zhezhi He+4 more|arXiv (Cornell University)|May 30, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 17

一句话总结

本文提出稳健稀疏正则化（RSR），一种多目标训练方法，通过权重剪枝同时提升深度神经网络对对抗攻击的鲁棒性并实现高模型紧凑性。通过融合通道级噪声注入、L1（套索）正则化和对抗训练，RSR使ResNet-18在剪枝85.36%参数的同时，保持86.79%的干净准确率和53.03%的PGD鲁棒性准确率。

ABSTRACT

Deep Neural Network (DNN) trained by the gradient descent method is known to be vulnerable to maliciously perturbed adversarial input, aka. adversarial attack. As one of the countermeasures against adversarial attack, increasing the model capacity for DNN robustness enhancement was discussed and reported as an effective approach by many recent works. In this work, we show that shrinking the model size through proper weight pruning can even be helpful to improve the DNN robustness under adversarial attack. For obtaining a simultaneously robust and compact DNN model, we propose a multi-objective training method called Robust Sparse Regularization (RSR), through the fusion of various regularization techniques, including channel-wise noise injection, lasso weight penalty, and adversarial training. We conduct extensive experiments across popular ResNet-20, ResNet-18 and VGG-16 DNN architectures to demonstrate the effectiveness of RSR against popular white-box (i.e., PGD and FGSM) and black-box attacks. Thanks to RSR, 85% weight connections of ResNet-18 can be pruned while still achieving 0.68% and 8.72% improvement in clean- and perturbed-data accuracy respectively on CIFAR-10 dataset, in comparison to its PGD adversarial training baseline.

研究动机与目标

• 解决提升深度神经网络对对抗攻击鲁棒性并借助剪枝减小模型规模的双重挑战。
• 克服先前方法在结合剪枝与防御时要么牺牲准确率，要么无法显著提升鲁棒性的局限。
• 开发一种训练框架，实现鲁棒性、紧凑性和干净准确率的同步优化，且不产生梯度遮蔽。
• 证明通过适当正则化训练的稀疏模型可比稠密模型更具鲁棒性。

提出的方法

• 在对抗训练过程中引入通道级噪声注入（CNI），通过注入可学习的、层特定的高斯噪声来提升鲁棒性。
• 对网络权重应用L1（套索）正则化，以促进稀疏性，通过将大量权重收缩至零来实现高剪枝率。
• 结合PGD和FGSM攻击的对抗训练，以增强对白盒攻击的鲁棒性。
• 采用基于阈值的剪枝策略，在训练后移除低于学习得到的伽马阈值（γ）的权重，实现高稀疏度。
• 采用多目标损失函数，联合优化干净准确率、PGD攻击下的鲁棒性以及权重稀疏性。
• 通过展示在攻击强度增加时性能一致下降，验证防御不依赖梯度遮蔽；同时在黑盒攻击下表现更优。

实验结果

研究问题

• RQ1 权重剪枝是否能提升而非降低对抗鲁棒性，与传统假设相反？
• RQ2 将L1正则化与对抗训练及噪声注入结合，是否能生成既稀疏又鲁棒的模型？
• RQ3 单一训练过程能否同时优化干净准确率、PGD与FGSM攻击下的鲁棒性以及高稀疏度？
• RQ4 所观察到的鲁棒性是源于真正的泛化能力，还是梯度遮蔽等人为现象？
• RQ5 推理时噪声的存在如何影响剪枝模型的鲁棒性？

主要发现

• RSR使ResNet-18实现85.36%的权重剪枝率，同时相比CIFAR-10上PGD对抗训练基线，PGD鲁棒性准确率提升8.72%，干净准确率提升0.68%。
• 剪枝后的ResNet-18模型在PGD攻击下达到53.03%的鲁棒性准确率，优于包括PGD、PNI、DQ、SR、DP和RSE在内的最先进防御方法。
• 即使在禁用推理时噪声后，剪枝后的RSR模型仍保持41.61%的PGD准确率，证实鲁棒性源于正则化与稀疏性，而非噪声本身。
• 该方法未表现出梯度遮蔽迹象：随着攻击强度增加，鲁棒性线性下降，且在黑盒攻击下表现优于白盒攻击。
• 权重分布分析表明，RSR训练后，ResNet-18约85%的权重接近零（低于1e-5），实现高稀疏度且准确率损失极小。
• 最优剪枝阈值γ可通过调优实现干净准确率、鲁棒性与稀疏度之间的平衡，证明该方法在不同架构中具备灵活性与有效性。