[论文解读] SegPGD: An Effective and Efficient Adversarial Attack for Evaluating and Boosting Segmentation Robustness

Jindong Gu, Hengshuang Zhao+2 more|arXiv (Cornell University)|Jul 25, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出SegPGD，一种专为语义分割设计的新型对抗性攻击方法，相较于标准PGD在有效性和效率方面均有提升。通过利用分割任务特有的梯度动态特性与动态加权调度策略，SegPGD在更少的迭代次数内生成了更高质量的对抗样本，从而实现更强的鲁棒性评估能力，并在PASCAL VOC与Cityscapes数据集上实现了语义分割模型对抗训练的最先进性能。

ABSTRACT

Deep neural network-based image classifications are vulnerable to adversarial perturbations. The image classifications can be easily fooled by adding artificial small and imperceptible perturbations to input images. As one of the most effective defense strategies, adversarial training was proposed to address the vulnerability of classification models, where the adversarial examples are created and injected into training data during training. The attack and defense of classification models have been intensively studied in past years. Semantic segmentation, as an extension of classifications, has also received great attention recently. Recent work shows a large number of attack iterations are required to create effective adversarial examples to fool segmentation models. The observation makes both robustness evaluation and adversarial training on segmentation models challenging. In this work, we propose an effective and efficient segmentation attack method, dubbed SegPGD. Besides, we provide a convergence analysis to show the proposed SegPGD can create more effective adversarial examples than PGD under the same number of attack iterations. Furthermore, we propose to apply our SegPGD as the underlying attack method for segmentation adversarial training. Since SegPGD can create more effective adversarial examples, the adversarial training with our SegPGD can boost the robustness of segmentation models. Our proposals are also verified with experiments on popular Segmentation model architectures and standard segmentation datasets.

研究动机与目标

• 为解决语义分割模型生成有效对抗样本的挑战，此类模型相较于分类模型需要显著更多的攻击迭代次数。
• 通过减少生成强对抗样本所需的迭代次数，提升对抗鲁棒性评估的效率与有效性。
• 通过采用能生成更高质量对抗样本的更强攻击方法，提升语义分割模型的对抗训练效果。
• 证明SegPGD可通过更优的对抗训练实现语义分割模型的最先进鲁棒性。

提出的方法

• SegPGD引入了一种针对分割任务的攻击策略，通过修改PGD优化过程，使其更契合像素级分类目标。
• 采用动态加权调度策略（weight-dyn-linear），在攻击过程中自适应地平衡不同类别之间的损失，从而提升梯度信号质量。
• 通过SegFGSM将该方法推广至单步攻击，实现快速且高效的对抗样本生成。
• 理论收敛性分析表明，在相同迭代次数下，SegPGD比标准PGD收敛更快且收敛至更优解。
• SegPGD被集成至对抗训练（SegPGD-AT）中，训练过程中生成对抗样本以提升模型鲁棒性。
• 该方法在多种架构（PSPNet、DeepLabV3）与数据集（PASCAL VOC、Cityscapes）上，于白盒与黑盒攻击设置下进行了评估。

实验结果

研究问题

• RQ1 是否能够通过一种针对分割任务的攻击方法，在生成对抗样本的有效性与效率方面均超越标准PGD？
• RQ2 SegPGD中的动态加权调度相较于均匀或固定加权策略，在提升收敛速度与攻击质量方面有何改进？
• RQ3 当用于对抗训练时，SegPGD在多大程度上能增强分割模型的鲁棒性？
• RQ4 在强攻击条件下，SegPGD-AT与现有对抗训练方法（如DDCAT）相比，其鲁棒性表现如何？
• RQ5 SegPGD增强的攻击能力是否能转化为在基于黑盒迁移攻击下的更好泛化性能？

主要发现

• 在100次PGD迭代下，SegPGD使对抗训练的PSPNet模型mIoU降至接近零，表明使用较弱攻击方法训练的模型存在显著脆弱性。
• 采用SegPGD-AT进行对抗训练可实现最先进水平的鲁棒性，显著优于PGD-AT与DDCAT，在VOC数据集上PGD100下mIoU达18.24，远超PGD-AT的10.98。
• 在Cityscapes数据集上，SegPGD-AT将mIoU从PGD-AT的3.95提升至13.04（PGD100下），显示出显著的鲁棒性提升。
• 经SegPGD-AT训练的模型在对抗迁移类黑盒攻击中表现更优，优于使用PGD或DDCAT训练的模型。
• 收敛性分析证实，在相同迭代次数下，SegPGD比PGD更快收敛至更优的对抗样本。
• SegPGD中的动态线性加权调度可实现更有效的梯度更新，从而在攻击性能上显著优于基线方法。