[论文解读] Wasserstein Smoothing: Certified Robustness against Wasserstein Adversarial Attacks

Alexander Levine, Soheil Feizi|arXiv (Cornell University)|Oct 23, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用 16

一句话总结

本文提出了Wasserstein平滑，这是首个基于像素传输流空间中随机平滑的Wasserstein对抗攻击的认证防御方法。通过将图像差异表示为流，并在此空间中利用L1范数上界逼近Wasserstein距离，该方法实现了认证鲁棒性，并在MNIST和CIFAR-10上相比无保护模型显著提升了实际鲁棒性。

ABSTRACT

In the last couple of years, several adversarial attack methods based on different threat models have been proposed for the image classification problem. Most existing defenses consider additive threat models in which sample perturbations have bounded L_p norms. These defenses, however, can be vulnerable against adversarial attacks under non-additive threat models. An example of an attack method based on a non-additive threat model is the Wasserstein adversarial attack proposed by Wong et al. (2019), where the distance between an image and its adversarial example is determined by the Wasserstein metric ("earth-mover distance") between their normalized pixel intensities. Until now, there has been no certifiable defense against this type of attack. In this work, we propose the first defense with certified robustness against Wasserstein Adversarial attacks using randomized smoothing. We develop this certificate by considering the space of possible flows between images, and representing this space such that Wasserstein distance between images is upper-bounded by L_1 distance in this flow-space. We can then apply existing randomized smoothing certificates for the L_1 metric. In MNIST and CIFAR-10 datasets, we find that our proposed defense is also practically effective, demonstrating significantly improved accuracy under Wasserstein adversarial attack compared to unprotected models.

研究动机与目标

• 为解决非加法性、基于Wasserstein度量的对抗攻击缺乏认证防御的问题，这些攻击可绕过传统的Lp-范数防御。
• 为在Wasserstein威胁模型下（扰动通过归一化像素强度之间的地球移动距离衡量）的分类器开发鲁棒性认证。
• 通过将Wasserstein距离转换为流表示空间中的L1距离，实现认证鲁棒性。
• 通过图像分类基准上的Wasserstein攻击实证验证该方法优于基线模型。

提出的方法

• 该方法引入了图像差异的非唯一流表示，其中最小流的L1范数等于图像之间的Wasserstein距离。
• 利用此流空间表示，应用现有的基于L1的随机平滑认证，实现认证鲁棒性。
• 在流空间中添加噪声以平滑分类器，其鲁棒性由流扰动的L1范数推导得出。
• 该方法对多通道图像的每个颜色通道独立添加噪声，通过附录中的推论2保持鲁棒性认证的有效性。
• 使用每输入10,000次噪声样本的蒙特卡洛采样计算认证鲁棒性，以估计平滑分类器的预测。
• 通过在Wasserstein度量下使用投影梯度下降攻击评估实际鲁棒性，每个梯度估计使用128次噪声样本。

实验结果

研究问题

• RQ1 能否为非加法性、基于地球移动距离的Wasserstein对抗攻击构建认证防御？
• RQ2 是否可能在流表示空间中将Wasserstein距离转换为L1距离，以启用现有的L1平滑认证？
• RQ3 所提方法在Wasserstein攻击下的实际鲁棒性与无保护模型及其他防御方法相比如何？
• RQ4 在Wasserstein威胁模型中，认证鲁棒性与实际鲁棒性之间的差距是多少？

主要发现

• 在MNIST上，Wasserstein平滑防御在σ=0.00005时实现了87.01%的分类准确率和0.24%的弃权率，显著优于无保护基线模型在Wasserstein攻击下的表现。
• 在CIFAR-10上，该方法在σ=0.0002时实现了77.57%的准确率和0.66%的弃权率，表现出对Wasserstein攻击的强实际鲁棒性。
• MNIST的中位认证鲁棒性半径为0.000223，CIFAR-10为0.000179，认证半径比中位实际攻击半径小两个数量级。
• 该方法在CIFAR-10上的实际鲁棒性优于Wong等人（2019）测试的标准模型和二值化模型，但在大扰动下仍不如对抗训练模型鲁棒。
• 认证鲁棒性显著低于实际鲁棒性，表明在Wasserstein度量下仍需改进认证证书或更强的攻击方法。
• 该方法通过在每通道的流空间中独立应用噪声，对彩色图像有效，其理论有效性由附录中的推论2支持。