[论文解读] Transferable Universal Adversarial Perturbations Using Generative Models

Atiye Sadat Hashemi, Andreas Bär+2 more|arXiv (Cornell University)|Oct 28, 2020

Adversarial Robustness in Machine Learning参考文献 53被引用 13

一句话总结

本文提出了一种新颖的方法，通过在源模型的第一层特征上仅优化对抗损失，训练生成模型以生成高度可迁移的通用对抗扰动（UAPs）。通过聚焦于早期特征激活的变化，并结合交叉熵损失，该方法在源模型上实现了93.36%的新SOTA误分类率，在多种目标模型上实现了81.53%的平均迁移率，显著优于先前方法。

ABSTRACT

Deep neural networks tend to be vulnerable to adversarial perturbations, which by adding to a natural image can fool a respective model with high confidence. Recently, the existence of image-agnostic perturbations, also known as universal adversarial perturbations (UAPs), were discovered. However, existing UAPs still lack a sufficiently high fooling rate, when being applied to an unknown target model. In this paper, we propose a novel deep learning technique for generating more transferable UAPs. We utilize a perturbation generator and some given pretrained networks so-called source models to generate UAPs using the ImageNet dataset. Due to the similar feature representation of various model architectures in the first layer, we propose a loss formulation that focuses on the adversarial energy only in the respective first layer of the source models. This supports the transferability of our generated UAPs to any other target model. We further empirically analyze our generated UAPs and demonstrate that these perturbations generalize very well towards different target models. Surpassing the current state of the art in both, fooling rate and model-transferability, we can show the superiority of our proposed approach. Using our generated non-targeted UAPs, we obtain an average fooling rate of 93.36% on the source models (state of the art: 82.16%). Generating our UAPs on the deep ResNet-152, we obtain about a 12% absolute fooling rate advantage vs. cutting-edge methods on VGG-16 and VGG-19 target models.

研究动机与目标

• 提升通用对抗扰动（UAPs）在多种深度神经网络架构间的迁移能力。
• 解决现有UAPs在未知目标模型上泛化能力不足的问题。
• 利用不同架构间第一层特征图的结构相似性，增强扰动的泛化能力。
• 设计一种聚焦于早期层对抗能量的损失函数，以提升鲁棒性与迁移能力。
• 在ImageNet数据集上，展示在误分类率与跨模型迁移能力方面的卓越性能。

提出的方法

• 使用源模型（如ResNet-152）训练生成模型，生成能最大化误分类的UAP。
• 损失函数结合快速特征误分类损失（聚焦于第一卷积层）与交叉熵损失，以指导扰动生成。
• 该方法利用了不同架构间第一层特征图的结构相似性（SSIM），表明存在共享的脆弱性模式。
• 扰动受L∞范数约束（ε=10），并通过步长为α=0.7的迭代梯度更新进行优化。
• 生成器通过反向传播端到端训练，目标是在源模型上最大化对抗损失，同时保持图像质量。
• 通过将同一UAP应用于未见过的目标模型来评估迁移能力，测量多种架构下的误分类率。

实验结果

研究问题

• RQ1 能否利用不同深度神经网络架构间的第一层特征表示来提升UAP的迁移能力？
• RQ2 将对抗损失聚焦于源模型的第一层是否能产生更具泛化能力的UAP？
• RQ3 与当前SOTA的UAP生成技术相比，该方法在误分类率与跨模型迁移能力方面表现如何？
• RQ4 源模型架构的选择（如更深的网络）是否对最大化向其他模型的迁移能力至关重要？
• RQ5 单个UAP是否能在无需微调的情况下，在多个目标模型上实现高误分类率？

主要发现

• 所提方法在源模型上实现了93.36%的新SOTA误分类率，超越了此前SOTA的82.16%。
• 在ResNet-152上训练的UAP在所有其他目标模型上实现了81.53%的平均误分类率，展现出强大的迁移能力。
• 在VGG-16和VGG-19作为目标模型时，与此前SOTA相比，误分类率绝对提升了12%。
• 在ResNet-152上生成的UAP对VGG-16的误分类率为86.19%，对VGG-19为82.36%，显著优于先前方法。
• 即使源模型更深（如ResNet-152），该方法仍表现出优越的迁移能力，表明更深模型可生成更具泛化能力的UAP。
• 实证分析证实，不同架构间的第一层特征图具有高度结构相似性（SSIM），支持聚焦于浅层的设计选择。