[论文解读] Stronger and Faster Wasserstein Adversarial Attacks

Kaiwen Wu, Allen Wang+1 more|arXiv (Cornell University)|Aug 6, 2020

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出了两种新颖的优化方法——用于投影梯度下降的精确投影方法，以及结合熵平滑的快速Frank-Wolfe算法——以生成更强且更快速的Wasserstein对抗攻击。通过在Wasserstein约束下实现精确且高效的计算，该方法显著提升了攻击成功率，在半径为0.005的扰动球内，将CIFAR-10上ResNet的准确率降低至3.4%，相较于先前方法的65.6%，并首次实现了在Wasserstein威胁模型下对ImageNet的成功攻击。

ABSTRACT

Deep models, while being extremely flexible and accurate, are surprisingly vulnerable to "small, imperceptible" perturbations known as adversarial attacks. While the majority of existing attacks focus on measuring perturbations under the $\ell_p$ metric, Wasserstein distance, which takes geometry in pixel space into account, has long been known to be a suitable metric for measuring image quality and has recently risen as a compelling alternative to the $\ell_p$ metric in adversarial attacks. However, constructing an effective attack under the Wasserstein metric is computationally much more challenging and calls for better optimization algorithms. We address this gap in two ways: (a) we develop an exact yet efficient projection operator to enable a stronger projected gradient attack; (b) we show that the Frank-Wolfe method equipped with a suitable linear minimization oracle works extremely fast under Wasserstein constraints. Our algorithms not only converge faster but also generate much stronger attacks. For instance, we decrease the accuracy of a residual network on CIFAR-10 to $3.4\%$ within a Wasserstein perturbation ball of radius $0.005$, in contrast to $65.6\%$ using the previous Wasserstein attack based on an \emph{approximate} projection operator. Furthermore, employing our stronger attacks in adversarial training significantly improves the robustness of adversarially trained models.

研究动机与目标

• 解决现有Wasserstein对抗攻击中存在的计算效率低下和性能次优问题，这些问题依赖于近似投影算子。
• 为投影梯度下降攻击中的Wasserstein约束优化，设计一种精确但高效的投影方法。
• 设计一种结合线性最小化Oracle与熵平滑的快速Frank-Wolfe算法，以加速Wasserstein约束下的收敛。
• 通过对抗训练展示更强攻击在提升对抗鲁棒性方面的有效性。
• 将Wasserstein攻击的适用性扩展至大规模数据集（如ImageNet），而此前的方法在该领域均告失败。

提出的方法

• 将Wasserstein对抗攻击重新表述为在耦合矩阵上的容量约束欧几里得投影问题，整合质量重分配与扰动预算约束。
• 提出一种对偶投影方法，通过在对偶变量λ和μ上交替最大化来求解约束优化问题，采用二分法与Nesterov加速梯度上升。
• 为Frank-Wolfe方法引入一种线性最小化Oracle，利用熵平滑技术，实现在Wasserstein约束下快速、可扩展的下降方向计算。
• 通过高效类似单纯形的投影与对偶变量更新，求解对偶问题，实现具有线性收敛速率的对偶投影算法。
• 分别将两种算法集成到PGD与FW框架中，以在Wasserstein度量下以高精度与高速度生成对抗样本。
• 在对抗训练中应用更强的攻击方法，以提升模型鲁棒性，验证所提攻击在防御研究中的实用性。

实验结果

研究问题

• RQ1 能否为Wasserstein约束的对抗攻击设计一种精确投影算子，以相比近似方法提升攻击强度？
• RQ2 能否通过高效的线性最小化Oracle对Frank-Wolfe方法进行改进，以加速Wasserstein对抗攻击中的收敛？
• RQ3 所提方法能否在Wasserstein威胁模型下，于大规模数据集（如ImageNet）上生成有效的对抗样本？
• RQ4 更强的Wasserstein攻击在多大程度上能提升对抗训练模型的鲁棒性？
• RQ5 Wasserstein距离的几何特性（即捕捉像素质量移动）如何导致比ℓp范数更自然、更有效的对抗样本？

主要发现

• 所提出的对偶形式精确投影方法实现了线性收敛，显著提升了攻击质量，在Wasserstein半径为0.005的条件下，将CIFAR-10上ResNet的准确率降低至3.4%。
• 先前最先进方法基于投影Sinkhorn，在相同扰动预算下准确率为65.6%，表明攻击强度有显著提升。
• 结合熵平滑的Frank-Wolfe方法实现了快速收敛与高效计算，适用于大规模应用场景。
• 所提攻击是首个在Wasserstein威胁模型下成功生成ImageNet数据集对抗样本的方法。
• 在对抗训练中应用更强攻击后，模型鲁棒性显著提升，验证了其在防御研究中的实用价值。
• 合成实验确认，两种算法均能收敛至高精度解：对偶投影实现精确收敛，Frank-Wolfe方法表现出线性收敛速率。