[论文解读] Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks

Tao Bai, Jinqi Luo+1 more|arXiv (Cornell University)|Nov 3, 2020

Adversarial Robustness in Machine Learning参考文献 51被引用 5

一句话总结

本综述对深度神经网络中的对抗鲁棒性提供了全面分析，涵盖对抗攻击、鲁棒性评估基准，以及鲁棒性与自然准确率之间的权衡。它突出了近期在理解对抗脆弱性根本原因方面的进展，并讨论了新兴的训练技术，这些技术在提升鲁棒性的同时，也应对了计算成本和泛化权衡的问题。

ABSTRACT

Adversarial examples are inevitable on the road of pervasive applications of deep neural networks (DNN). Imperceptible perturbations applied on natural samples can lead DNN-based classifiers to output wrong prediction with fair confidence score. It is increasingly important to obtain models with high robustness that are resistant to adversarial examples. In this paper, we survey recent advances in how to understand such intriguing property, i.e. adversarial robustness, from different perspectives. We give preliminary definitions on what adversarial attacks and robustness are. After that, we study frequently-used benchmarks and mention theoretically-proved bounds for adversarial robustness. We then provide an overview on analyzing correlations among adversarial robustness and other critical indicators of DNN models. Lastly, we introduce recent arguments on potential costs of adversarial training which have attracted wide attention from the research community.

研究动机与目标

• 提供对近期理解深度神经网络中对抗鲁棒性进展的系统性概述。
• 分析对抗鲁棒性与自然准确率之间的权衡，以及鲁棒性与训练效率之间的权衡。
• 审视对抗训练的局限性和挑战，包括计算成本和不可证明性。
• 识别构建可信、鲁棒的深度学习模型过程中的开放问题和未来研究方向。
• 综合来自不同视角——实证、理论和架构——的见解，解释为何模型对对抗样本存在脆弱性。

提出的方法

• 使用最小-最大优化框架形式化对抗训练，即在自然输入周围ε球内的对抗样本上进行模型训练。
• 在训练期间使用投影梯度下降（PGD）作为生成鲁棒对抗样本的主要方法。
• 回顾并比较多种基准（如FGSM、CW、DeepFool），用于在CIFAR-10和ImageNet等数据集上评估对抗鲁棒性。
• 分析对抗鲁棒性的理论边界，并将鲁棒性与模型泛化能力及潜在空间特性相关联。
• 评估近期高效的训练方法，如FREE、FAST和GradAlign，以在保持鲁棒性的同时降低计算成本。
• 应用庞特里亚金最大值原理分析第一层权重与对抗扰动之间的耦合关系，从而提出YOPO——一种针对特定层的对抗训练算法。

实验结果

研究问题

• RQ1 深度神经网络中对抗脆弱性的根本原因是什么？
• RQ2 对抗鲁棒性与自然准确率之间存在何种相关性，这种权衡是否不可避免？
• RQ3 对抗训练的计算成本和泛化成本是什么，如何加以缓解？
• RQ4 理论边界和架构设计在多大程度上能够提升对抗鲁棒性？
• RQ5 像FREE和FAST这样的高效训练方法能否在不产生过度计算成本的前提下，实现与基于PGD的训练相当的鲁棒性？

主要发现

• 对抗鲁棒性与高自然准确率并非本质上不相容；近期研究表明，通过使用正则化（如Dropout）和领域自适应等技术，可有效缓解这种权衡。
• 在基于ImageNet的模型评估中，模型准确率的对数与对抗鲁棒性之间存在线性负相关关系。
• 高效的训练方法如FREE和FAST显著缩短了训练时间，同时保持了与基于PGD的训练相当的鲁棒性。
• GradAlign通过在扰动集合内最大化梯度对齐，有效防止了对抗训练中的灾难性过拟合。
• YOPO基于庞特里亚金最大值原理，表明将对抗计算聚焦于第一层可提升训练效率，而不会牺牲鲁棒性。
• 理论分析证实，对抗扰动与第一层权重存在强耦合关系，为对抗训练的优化动态提供了深入洞见。