[论文解读] Traits & Transferability of Adversarial Examples against Instance Segmentation & Object Detection.

Raghav Gurbaxani, Shivank Mishra|arXiv (Cornell University)|Aug 4, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 3

一句话总结

本文研究了对抗性样本在实例分割和目标检测模型上的可迁移性与鲁棒性。通过使用FGSM、DeepFool和C&W L2攻击，结果表明，对抗性扰动在经历真实世界中的缩放、旋转和光照变化后会显著失效，尤其是在超过临界阈值后，这限制了其在不同网络和不同任务间的可迁移性，尤其在复杂的视觉处理流水线中表现明显。

ABSTRACT

Despite the recent advancements in deploying neural networks for image classification, it has been found that adversarial examples are able to fool these models leading them to misclassify the images. Since these models are now being widely deployed, we provide an insight on the threat of these adversarial examples by evaluating their characteristics and transferability to more complex models that utilize Image Classification as a subtask. We demonstrate the ineffectiveness of adversarial examples when applied to Instance Segmentation & Object Detection models. We show that this ineffectiveness arises from the inability of adversarial examples to withstand transformations such as scaling or a change in lighting conditions. Moreover, we show that there exists a small threshold below which the adversarial property is retained while applying these input transformations. Additionally, these attacks demonstrate weak cross-network transferability across neural network architectures, e.g. VGG16 and ResNet50, however, the attack may fool both the networks if passed sequentially through networks during its formation. The lack of scalability and transferability challenges the question of how adversarial images would be effective in the real world.

研究动机与目标

• 评估对抗性样本在欺骗复杂视觉模型（如实例分割和目标检测）方面的有效性。
• 研究真实世界图像变换（如缩放、旋转、光照）对抗性鲁棒性的影响。
• 评估不同架构（如VGG16、ResNet50）之间对抗性攻击的跨网络可迁移性。
• 探索对抗性样本是否能跨不同任务迁移，例如从分类到图像字幕生成或目标检测。
• 确定在多个网络上顺序生成对抗性样本是否能增强对多个模型的同时欺骗能力。

提出的方法

• 在ImageNet预训练模型上应用目标导向和非目标导向的FGSM、DeepFool以及C&W L2攻击。
• 应用包括裁剪、缩放、旋转和光照调整在内的输入变换，以评估鲁棒性。
• 采用基于阈值的分析方法，识别在变换下仍能保持对抗性特性的最小扰动大小。
• 通过跨网络（相同数据集，不同模型）和跨任务（不同数据集，相似架构）设置评估可迁移性。
• 通过多网络顺序生成对抗性图像（例如，先为ResNet50生成，再用其结果为VGG16生成），以测试同时欺骗多个模型的能力。
• 使用预训练模型评估攻击在下游任务（实例分割、目标检测和图像字幕生成）上的成功率。

实验结果

研究问题

• RQ1 常见的图像变换（如缩放、旋转、光照）如何影响复杂视觉任务中对抗性样本的对抗性鲁棒性？
• RQ2 在变换后，对抗性扰动仍保持有效的最小阈值是多少？
• RQ3 对抗性样本在不同神经网络架构（如VGG16与ResNet50）之间可迁移的程度如何，尤其是在ImageNet上？
• RQ4 在真实世界条件下，对抗性样本能否有效欺骗实例分割和目标检测模型？
• RQ5 在多个网络上顺序生成对抗性样本是否能增强其在多个模型上同时的可迁移性与欺骗能力？

主要发现

• 对抗性样本在常见真实世界变换（如缩放、旋转和光照变化）下会丧失欺骗能力，尤其在超过临界阈值后更为显著。
• 存在一个最小阈值，低于该阈值时对抗性特性可在变换下得以保留，表明存在一个鲁棒区域。
• 对抗性样本在不同架构（如VGG16与ResNet50）之间的可迁移性较弱，在ImageNet上的成功率较低。
• 由于实例分割和目标检测模型依赖于裁剪和局部分类，对抗性攻击无法有效迁移至这些模型。
• 顺序生成对抗性样本（例如，先为ResNet50生成，再用其结果为VGG16生成）可使单张图像同时欺骗两个网络。
• 除非训练设置与先前工作保持一致，否则对抗性样本无法迁移至图像字幕生成模型，表明其对任务具有高度敏感性。