[论文解读] Wasserstein Adversarial Examples via Projected Sinkhorn Iterations

Eric Wong, Frank R. Schmidt+1 more|arXiv (Cornell University)|Feb 21, 2019

Adversarial Robustness in Machine Learning被引用 59

一句话总结

引入 Wasserstein 距离作为对图像对抗攻击的威胁模型，并开发一种基于投影 Sinkhorn 的快速方法来生成 Wasserstein 对抗样本，以及对抗训练和鲁棒性分析。

ABSTRACT

A rapidly growing area of work has studied the existence of adversarial examples, datapoints which have been perturbed to fool a classifier, but the vast majority of these works have focused primarily on threat models defined by $\ell_p$ norm-bounded perturbations. In this paper, we propose a new threat model for adversarial attacks based on the Wasserstein distance. In the image classification setting, such distances measure the cost of moving pixel mass, which naturally cover "standard" image manipulations such as scaling, rotation, translation, and distortion (and can potentially be applied to other settings as well). To generate Wasserstein adversarial examples, we develop a procedure for projecting onto the Wasserstein ball, based upon a modified version of the Sinkhorn iteration. The resulting algorithm can successfully attack image classification models, bringing traditional CIFAR10 models down to 3% accuracy within a Wasserstein ball with radius 0.1 (i.e., moving 10% of the image mass 1 pixel), and we demonstrate that PGD-based adversarial training can improve this adversarial accuracy to 76%. In total, this work opens up a new direction of study in adversarial robustness, more formally considering convex metrics that accurately capture the invariances that we typically believe should exist in classifiers. Code for all experiments in the paper is available at https://github.com/locuslab/projected_sinkhorn.

研究动机与目标

• 通过使用 Wasserstein 距离来捕捉可感知的图像变换，激发对超出 l_p 范数的对抗扰动研究。
• 开发一个快速、近似的投影到 Wasserstein ball，以实现迭代对抗攻击。
• 在标准模型上证明攻击有效性，并通过 Wasserstein 相关的对抗训练展示改进。
• 探索 Wasserstein 攻击与现有可证明防御与证书的兼容性和局限性。

提出的方法

• 将 Wasserstein-ball 投影表述为一个带熵正则化的优化，以实现类似 Sinkhorn 的算法。
• 推导具有辅助变量（alpha、beta、psi）的对偶形式，并得到实用的更新规则。
• 提供一个投影 Sinkhorn 迭代（算法2），以高效计算 Wasserstein-ball 投影。
• 引入局部传输计划，将质量移动限制在一个 k x k 的邻域内，将复杂度降至 O(n k^2)。
• 将该投影嵌入一个类似 PGD 的对抗攻击以及对抗训练（算法1）。
• 分析与基于对偶性的证书的兼容性，并讨论在 Wasserstein 扰动下可证明鲁棒性存在的根本缺口。

实验结果

研究问题

• RQ1 Wasserstein 距离是否能作为超出 l_p 范数的对抗样本的自然、保持结构的扰动模型？
• RQ2 如何高效投影到 Wasserstein ball，以实现迭代对抗攻击和训练？
• RQ3 基于 Wasserstein 的对抗样本是否揭示与传统扰动不同的鲁棒性性质，且对抗训练能否缓解？
• RQ4 现有基于区间界限的可证明鲁棒性方法是否与 Wasserstein 扰动兼容，以及它们的局限性？
• RQ5 在 MNIST 和 CIFAR-10 上，Wasserstein 攻击对标准模型和可证明鲁棒模型的经验影响如何？

主要发现

• Wasserstein 扰动产生的对抗性修改具有结构性，能够反映图像内容，与常见的 l_p 扰动不同。
• 使用投影 Sinkhorn 迭代的快速近似 Wasserstein 投影使得在 Wasserstein ball 内能够进行有效的类似 PGD 的攻击。
• 在 Wasserstein 扰动下的对抗训练显著提升对抗准确性（例如 CIFAR-10：从 3% 提升到 76% 在攻击下）。
• 对 l_infty 扰动可证明鲁棒性模型在某种程度上对 Wasserstein 攻击具有鲁棒性转移，但并非完全鲁棒。
• 基于区间界限的现有可证防御对于 Wasserstein 扰动存在根本局限，表明需要新的验证方法。
• 对于 CIFAR-10，Wasserstein 攻击在标准模型上仍然强（如在 ε=0.1 时攻击成功率 97%）。