[论文解读] Towards Understanding the Regularization of Adversarial Robustness on Neural Networks

Yuxin Wen, Shuai Li+1 more|arXiv (Cornell University)|Nov 15, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用 7

一句话总结

本文通过将对抗鲁棒性训练视为一种正则化形式，探究了为何对抗鲁棒性训练会降低深度神经网络的标准准确率。研究发现，鲁棒性是通过在各层中均匀平滑特征空间的变化来实现的，这使得样本集中在决策边界附近，降低了模型置信度，从而导致自然准确率下降。该研究指出，当前的对抗训练引入了过度激进的正则化，可通过更温和的方法加以缓解。

ABSTRACT

The problem of adversarial examples has shown that modern Neural Network (NN) models could be rather fragile. Among the more established techniques to solve the problem, one is to require the model to be {\\it $\\epsilon$-adversarially robust} (AR); that is, to require the model not to change predicted labels when any given input examples are perturbed within a certain range. However, it is observed that such methods would lead to standard performance degradation, i.e., the degradation on natural examples. In this work, we study the degradation through the regularization perspective. We identify quantities from generalization analysis of NNs; with the identified quantities we empirically find that AR is achieved by regularizing/biasing NNs towards less confident solutions by making the changes in the feature space (induced by changes in the instance space) of most layers smoother uniformly in all directions; so to a certain extent, it prevents sudden change in prediction w.r.t. perturbations. However, the end result of such smoothing concentrates samples around decision boundaries, resulting in less confident solutions, and leads to worse standard performance. Our studies suggest that one might consider ways that build AR into NNs in a gentler way to avoid the problematic regularization.

研究动机与目标

• 理解对抗鲁棒性训练如何通过正则化机制降低深度神经网络的标准准确率。
• 识别对抗训练引起的神经网络在结构和表征上的具体变化，这些变化导致性能下降。
• 分析对抗鲁棒性如何影响特征空间的平滑性以及模型置信度，特别是在决策边界附近。
• 挑战对抗训练是无害正则化的假设，表明其实际上引入了对更低置信度预测的有害偏差。
• 建议未来鲁棒性方法应避免过度平滑，而应以更温和的方式构建鲁棒性，以保留标准准确率。

提出的方法

• 作者推导了深度神经网络的一般化边界，以理论分析对抗鲁棒性与标准准确率之间的权衡。
• 他们通过测量各层奇异值标准差，对对抗训练下的特征空间平滑性进行了实证研究。
• 他们分析了预测的边界分布，以量化模型置信度及其在鲁棒训练下的退化情况。
• 他们在CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上，比较了不同对抗鲁棒性水平（epsilon值）下训练的模型。
• 他们使用10次迭代、步长为2的PGD攻击，在标准和鲁棒训练设置下评估对抗准确率。
• 他们通过在没有批量归一化的情况下训练ResNet模型，采用Fixup初始化，并每轮训练后应用谱范数裁剪，以隔离谱范数的行为。

实验结果

研究问题

• RQ1 对抗鲁棒性训练如何正则化深度神经网络，其引入了何种特定归纳偏差？
• RQ2 为何对抗鲁棒性训练在提升鲁棒性的同时，反而导致标准准确率下降？
• RQ3 对抗训练在多大程度上在各层中均匀平滑了特征空间变换？
• RQ4 样本在决策边界附近的集中如何影响模型置信度和泛化能力？
• RQ5 能否通过修改正则化过程来缓解对抗训练对标准准确率的负面影响？

主要发现

• 对抗鲁棒性是通过正则化神经网络，使其在大多数层中沿所有方向均匀平滑特征空间变化来实现的。
• 这种平滑效应使数据点集中在决策边界附近，降低模型置信度，从而导致标准准确率下降。
• 随着对抗鲁棒性强度的增加，各层奇异值标准差增大，表明特征变换更加均匀和稳定。
• 鲁棒性更高的模型表现出更低的标准准确率（例如，在CIFAR-10上使用ResNet-56且epsilon=16时为59.43%），尽管其对抗准确率更高（48.81%）。
• 鲁棒性与准确率之间的权衡源于对模型置信度的过度惩罚，这种惩罚通过均匀平滑实现，而不仅仅是数据增强所致。
• 该研究建议，当前的对抗训练引入了过度激进的正则化，可被更温和、更精准的方法取代，以保留标准性能。