[论文解读] Revisiting Transferable Adversarial Images: Systemization, Evaluation, and New Insights

Zhengyu Zhao, Hanwei Zhang+7 more|arXiv (Cornell University)|Oct 18, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种针对 ImageNet 上可迁移对抗攻击的系统性评估框架，引入了新的攻击分类方式与公平的超参数设置，以解决现有评估实践中的缺陷。研究发现，在公平条件下，早期攻击 DI 的表现优于后续新方法；DiffPure 防御可被黑盒攻击绕过；即使在相同的 $L_p$ 范数下，隐蔽性表现也存在显著差异，这挑战了关于可迁移性与不可察觉性的既有假设。

ABSTRACT

Transferable adversarial images raise critical security concerns for computer vision systems in real-world, black-box attack scenarios. Although many transfer attacks have been proposed, existing research lacks a systematic and comprehensive evaluation. In this paper, we systemize transfer attacks into five categories around the general machine learning pipeline and provide the first comprehensive evaluation, with 23 representative attacks against 11 representative defenses, including the recent, transfer-oriented defense and the real-world Google Cloud Vision. In particular, we identify two main problems of existing evaluations: (1) for attack transferability, lack of intra-category analyses with fair hyperparameter settings, and (2) for attack stealthiness, lack of diverse measures. Our evaluation results validate that these problems have indeed caused misleading conclusions and missing points, and addressing them leads to new, extit{consensus-challenging} insights, such as (1) an early attack, DI, even outperforms all similar follow-up ones, (2) the state-of-the-art (white-box) defense, DiffPure, is even vulnerable to (black-box) transfer attacks, and (3) even under the same $L_p$ constraint, different attacks yield dramatically different stealthiness results regarding diverse imperceptibility metrics, finer-grained measures, and a user study. We hope that our analyses will serve as guidance on properly evaluating transferable adversarial images and advance the design of attacks and defenses. Code is available at https://github.com/ZhengyuZhao/TransferAttackEval.

研究动机与目标

• 为解决可迁移对抗攻击研究中不一致且非系统化的评估实践问题。
• 识别现有基准中的缺陷，特别是超参数设置不公平以及隐蔽性比较不充分的问题。
• 建立新的评估指南，重点关注可迁移性与隐蔽性，包括细粒度的不可察觉性度量和攻击溯源分析。
• 对 ImageNet 上 23 种攻击与 9 种防御进行大规模、公平且系统的评估。
• 通过实证分析挑战关于攻击性能与防御鲁棒性的既有假设。

提出的方法

• 基于攻击流程中的核心组件，提出一种新型可迁移攻击分类方式，实现类别内系统性比较。
• 在每类攻击中采用一致的超参数设置，以确保性能评估的公平性。
• 引入五种多样的不可察觉性度量，以及基于攻击溯源和误分类模式的两种新型细粒度隐蔽性度量。
• 在 ImageNet 上开展大规模评估，涵盖 23 种代表性攻击与 9 种防御，采用非目标与目标两种设置。
• 分析对抗预测的扰动模式与类别分布，以评估隐蔽性与可追溯性。
• 在输入增强攻击中使用适中数量的输入副本（N=5），在表征能力与噪声之间取得平衡，实现最优攻击准确率。

实验结果

研究问题

• RQ1 在公平的类别内超参数设置下，不同可迁移攻击方法的表现如何比较？
• RQ2 隐蔽性（超越 $L_p$ 范数）在多大程度上影响可迁移性？不同度量之间的相关性如何？
• RQ3 能否有效利用误分类模式进行攻击溯源？哪些攻击类型最易被追溯？
• RQ4 最先进的防御方法如 DiffPure 在黑盒可迁移攻击下表现如何？是否真正提供了安全保障？
• RQ5 为何生成建模类攻击会持续将对抗样本误分类为单一主导类别？这对隐蔽性意味着什么？

主要发现

• 在公平的超参数设置下，早期攻击 DI 在可迁移性方面优于所有后续方法，挑战了‘新方法必然更优’的假设。
• 尽管 DiffPure 被视为最先进防御，但其在黑盒可迁移攻击下仍被广泛绕过，表明存在虚假的安全感。
• 即使在相同的 $L_{ au}$ 范数约束下，攻击的隐蔽性表现仍存在显著差异，且与可迁移性呈负相关。
• 生成建模类攻击产生高度图像无关的扰动，会将输入一致地误分类为单一主导类别（如 CDA 中的“harp”），因而极易被追溯。
• 对抗样本中最常见的误分类类别常反映纹理模式，如“brain coral”或“jigsaw puzzle”，表明扰动具有高频特性。
• 在基于输入增强的攻击中，适中数量的输入副本（N=5）可实现最优攻击准确率，在表征能力与噪声之间取得最佳平衡。