[论文解读] On the Sensitivity of Adversarial Robustness to Input Data Distributions

Gavin Weiguang Ding, Kry Yik Chau Lui+3 more|arXiv (Cornell University)|Feb 22, 2019

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文表明，神经网络的对抗鲁棒性对输入数据分布的语义保持变换极为敏感，而干净准确率则保持稳定。即使在相同分布上微调模型，鲁棒性仍存在显著差异，揭示了数据分布本身可决定鲁棒性，挑战了标准评估实践。

ABSTRACT

Neural networks are vulnerable to small adversarial perturbations. Existing literature largely focused on understanding and mitigating the vulnerability of learned models. In this paper, we demonstrate an intriguing phenomenon about the most popular robust training method in the literature, adversarial training: Adversarial robustness, unlike clean accuracy, is sensitive to the input data distribution. Even a semantics-preserving transformations on the input data distribution can cause a significantly different robustness for the adversarial trained model that is both trained and evaluated on the new distribution. Our discovery of such sensitivity on data distribution is based on a study which disentangles the behaviors of clean accuracy and robust accuracy of the Bayes classifier. Empirical investigations further confirm our finding. We construct semantically-identical variants for MNIST and CIFAR10 respectively, and show that standardly trained models achieve comparable clean accuracies on them, but adversarially trained models achieve significantly different robustness accuracies. This counter-intuitive phenomenon indicates that input data distribution alone can affect the adversarial robustness of trained neural networks, not necessarily the tasks themselves. Lastly, we discuss the practical implications on evaluating adversarial robustness, and make initial attempts to understand this complex phenomenon.

研究动机与目标

• 探究为何在任务相似的数据集（如MNIST和CIFAR10）上，尽管干净准确率相近，对抗鲁棒性仍存在显著差异。
• 检验语义上相同的变换是否会影响对抗鲁棒性，即使模型在新分布上重新训练。
• 通过展示鲁棒性受数据分布影响，挑战“鲁棒性仅为学习算法属性”的假设。
• 评估这种敏感性对模型基准测试和鲁棒模型实际部署的实用影响。
• 启动对驱动这种依赖于数据分布的鲁棒性现象的底层机制的理解。

提出的方法

• 对可逆数据变换下的贝叶斯误差和鲁棒误差进行理论分析，表明尽管常规贝叶斯误差保持不变，鲁棒误差却并非如此。
• 推导出完美鲁棒性不可能的条件，特别是当数据均匀分布时。
• 为MNIST和CIFAR10设计语义上相同的变体，包括二值化MNIST、伽马校正CIFAR10、时尚-MNIST和边缘检测变体。
• 在这些变体上对标准训练和对抗训练模型进行实证评估，测量不同数据分布下的干净准确率和鲁棒准确率。
• 系统性消融模型容量和训练集大小，评估其在不同数据分布下对鲁棒性的影响。
• 使用认证鲁棒性方法（如Wong & Kolter, 2018）验证二值化MNIST的鲁棒性，确认在高干净准确率下鲁棒误差极低。

实验结果

研究问题

• RQ1 对抗鲁棒性在输入数据分布的语义保持变换下是否保持不变？
• RQ2 为何在MNIST上训练的模型相比CIFAR10模型获得显著更高的鲁棒准确率，尽管两者干净准确率相近？
• RQ3 在语义相同但经过变换的数据分布上重新训练模型，是否会导致鲁棒性发生显著差异？
• RQ4 当数据分布改变时，模型容量和训练集大小如何影响鲁棒性？
• RQ5 在独立于任务和模型的前提下，数据分布本身在多大程度上影响对抗鲁棒性？

主要发现

• 对抗鲁棒性对输入数据分布极为敏感：即使语义相同的变体（如伽马校正CIFAR10）也会导致显著不同的鲁棒准确率。
• 标准训练在MNIST及其变体上实现相近的干净准确率，但对抗训练模型的鲁棒准确率则显著不同，例如在相同扰动预算下，MNIST上为89.3%，CIFAR10上仅为45.8%。
• 使用Wong & Kolter (2018)认证方法，二值化MNIST的认证鲁棒误差最高仅为3%，表明其在语义上与MNIST相同但鲁棒性极高。
• PGD训练模型在MNIST变体上的鲁棒准确率随模型容量和训练集大小增加而趋于饱和，表明在某些阈值后增益有限。
• 在CIFAR10变体上，鲁棒准确率随更大模型和更多数据持续提升，表明数据分布与样本复杂性之间存在复杂交互。
• 二值化MNIST与∞-饱和CIFAR10表现出不同的样本复杂性行为，表明二值化本身并不能完全决定鲁棒性特征。