[论文解读] Robust Learning Meets Generative Models: Can Proxy Distributions Improve Adversarial Robustness?

Vikash Sehwag, Saeed Mahloujifar+5 more|arXiv (Cornell University)|Apr 19, 2021

Adversarial Robustness in Machine Learning被引用 31

一句话总结

本文将来自代理（合成）分布的鲁棒性转移形式化为条件 Wasserstein 距离，并显示在 PORT（基于代理数据的鲁棒训练）中，扩散模型生成器在对抗鲁棒性和认证鲁棒性方面有所提升。

ABSTRACT

While additional training data improves the robustness of deep neural networks against adversarial examples, it presents the challenge of curating a large number of specific real-world samples. We circumvent this challenge by using additional data from proxy distributions learned by advanced generative models. We first seek to formally understand the transfer of robustness from classifiers trained on proxy distributions to the real data distribution. We prove that the difference between the robustness of a classifier on the two distributions is upper bounded by the conditional Wasserstein distance between them. Next we use proxy distributions to significantly improve the performance of adversarial training on five different datasets. For example, we improve robust accuracy by up to 7.5% and 6.7% in $\\ell_{\\infty}$ and $\\ell_2$ threat model over baselines that are not using proxy distributions on the CIFAR-10 dataset. We also improve certified robust accuracy by 7.6% on the CIFAR-10 dataset. We further demonstrate that different generative models bring a disparate improvement in the performance in robust training. We propose a robust discrimination approach to characterize the impact of individual generative models and further provide a deeper understanding of why current state-of-the-art in diffusion-based generative models are a better choice for proxy distribution than generative adversarial networks.

研究动机与目标

• 以代理分布（合成数据）来提升对抗鲁棒性为动机并形式化，而不需要收集更多真实数据。
• 推导界限，表明鲁棒性转移由代理分布与真实数据分布之间的条件 Wasserstein 距离所支配。
• 提出 ARC 作为可行的代理指标，用来对鲁棒性转移进行排序。
• 开发 PORT，这是一个将真实数据与合成数据结合的鲁棒训练框架，以提升清洁准确性和鲁棒准确性。

提出的方法

• 定义平均鲁棒性并将鲁棒性转移分解为经验鲁棒性、泛化惩罚和分布偏移惩罚。
• 引入条件 Wasserstein 距离 cwd 来界定真实分布与代理分布之间的分布偏移惩罚。
• 提出 ARC（在鲁棒判别准确度对扰动的面积下的区域）作为 cwd 的可行代理，并展示其关系（cwd ≥ 4*ARC）。
• 通过对真实数据和代理数据的混合参数 γ 和对抗性训练目标（PGD 或随机平滑）来整合损失，发展 PORT。
• 引入鲁棒鉴别器以衡量对抗扰动下分布之间的接近程度，并定义 synthetic-score 以选择合成样本。
• 通过五个数据集证明扩散模型为代理的鲁棒性转移优于 GAN。

实验结果

研究问题

• RQ1 Q1: 何时从代理分布到真实数据分布的鲁棒性转移发生？
• RQ2 Q2: 代理分布在提升真实世界数据集上的对抗鲁棒性方面有多有效？
• RQ3 Q3: 我们能否开发一个指标来预测哪种代理分布最有助于鲁棒性训练？
• RQ4 Q4: 不同生成模型（扩散与 GAN）对鲁棒性转移和认证鲁棒性有何影响？

主要发现

• 代理分布可以显著提升多数据集和威胁模型下的对抗鲁棒性和认证鲁棒性。
• 鲁棒准确性提升在 ℓ∞ 约束下可达 7.5%，在 ℓ2 下可达 6.7%；CIFAR-10 的认证鲁棒性提升为 7.6%。
• 扩散型生成器在鲁棒性转移方面优于 GAN 作为代理分布。
• ARC 能有效预测鲁棒性转移排序并与 cwd 对齐，优于 FID/IS 作为鲁棒性转移的代理。
• 对合成数据的自适应采样在鲁棒性上带来少量额外增益。
• PORT 与合成数据结合时可达到或超过基线鲁棒性，同时使用更少的真实样本并增强清洁和鲁棒准确性。