[论文解读] Towards Understanding Adversarial Examples Systematically: Exploring Data Size, Task and Model Factors

Ke Sun, Zhanxing Zhu+1 more|arXiv (Cornell University)|Feb 28, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 17

一句话总结

本文通过分析数据量、任务复杂度和模型架构，系统研究了深度神经网络中的对抗鲁棒性。研究发现，在标准训练下实现对抗鲁棒泛化所需的训练数据量大于标准泛化，且在数据量有限的场景下，准确率与鲁棒性之间存在权衡，但随着数据规模增加，该权衡逐渐消失，最终收敛至联合最优性能。

ABSTRACT

Most previous works usually explained adversarial examples from several specific perspectives, lacking relatively integral comprehension about this problem. In this paper, we present a systematic study on adversarial examples from three aspects: the amount of training data, task-dependent and model-specific factors. Particularly, we show that adversarial generalization (i.e. test accuracy on adversarial examples) for standard training requires more data than standard generalization (i.e. test accuracy on clean examples); and uncover the global relationship between generalization and robustness with respect to the data size especially when data is augmented by generative models. This reveals the trade-off correlation between standard generalization and robustness in limited training data regime and their consistency when data size is large enough. Furthermore, we explore how different task-dependent and model-specific factors influence the vulnerability of deep neural networks by extensive empirical analysis. Relevant recommendations on defense against adversarial attacks are provided as well. Our results outline a potential path towards the luminous and systematic understanding of adversarial examples.

研究动机与目标

• 提供对对抗样本的系统性理解，超越孤立的假设。
• 研究数据量如何影响标准泛化与对抗鲁棒性之间的权衡。
• 分析任务相关因素（输入维度、类别数量）对模型脆弱性的影响。
• 评估模型特定因素（架构、容量）在鲁棒性中的作用。
• 为改进对抗防御策略提供基于证据的建议。

提出的方法

• 通过在不同训练数据规模下进行实证评估，包括使用辅助分类器生成对抗网络（ACGAN）进行数据增强，评估鲁棒性与泛化能力。
• 在MNIST、SVHN和CIFAR10数据集上，对比不同架构（CNN、逻辑回归和LinearSVM）的模型性能。
• 在受控环境下，使用FGSM、PGD和CW攻击测量防御成功率以评估鲁棒性。
• 通过分析梯度幅值（L1、L2、L∞范数）来关联模型容量与对基于梯度攻击的鲁棒性。
• 通过增加卷积层中的滤波器数量，系统性地改变模型容量，以评估其对对抗鲁棒性的影响。
• 为CNN和逻辑回归使用标准交叉熵损失，为LinearSVM使用多分类合页损失，以确保公平比较。

实验结果

研究问题

• RQ1 在标准训练下，对抗鲁棒泛化是否需要比标准泛化更多的训练数据？
• RQ2 随着数据量增加，标准泛化与鲁棒性之间的权衡如何演变，尤其是在使用数据增强的情况下？
• RQ3 输入维度和类别数量等任务相关因素如何影响模型对对抗样本的脆弱性？
• RQ4 增加模型容量在多大程度上能提升鲁棒性，特别是对非基于梯度的攻击（如CW攻击）？
• RQ5 在对抗鲁棒性中，梯度幅值与模型容量之间存在何种关系？

主要发现

• 在标准训练下，对抗鲁棒泛化所需的数据量大于标准泛化，且存在一个数据量阈值，在此阈值以上，准确率与鲁棒性之间的权衡消失。
• 当数据量足够大时，鲁棒泛化收敛于标准泛化，表明在大数据环境下，鲁棒性与泛化具有一致性。
• 随着输入维度上升，鲁棒性先增加后下降；而随着分类类别数量的增加，鲁棒性单调下降。
• 尽管对基于梯度的攻击（如FGSM、PGD）的抵抗能力有所提升，但增加模型容量并未改善对CW攻击的鲁棒性，表明实际鲁棒性增益有限。
• 大模型表现出更小的梯度幅值（L1、L2、L∞范数），表明其对基于梯度的攻击更具抵抗力，但这种优势无法延伸至基于优化的攻击（如CW攻击）。
• CNN在泛化和鲁棒性方面均优于逻辑回归和LinearSVM，表明在相同条件下，深度网络本身比传统模型更具鲁棒性。