[论文解读] Towards Good Practices in Evaluating Transfer Adversarial Attacks

Zhengyu Zhao, Hanwei Zhang+4 more|arXiv (Cornell University)|Nov 17, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文通过引入攻击的系统性五类分类法和全面的评估框架，提出了评估迁移对抗攻击的良好实践，该框架同时评估攻击的迁移性与隐蔽性。研究发现，公平的一对一比较揭示了反直觉的结果——例如，在相同设置下，DI攻击的表现优于更新的输入增强类攻击——并表明即使在相同的 $L_\infty$ 范数下，不同攻击的隐蔽性差异显著，而感知度量和误分类模式可为攻击溯源提供可能。

ABSTRACT

Transfer adversarial attacks raise critical security concerns in real-world, black-box scenarios. However, the actual progress of this field is difficult to assess due to two common limitations in existing evaluations. First, different methods are often not systematically and fairly evaluated in a one-to-one comparison. Second, only transferability is evaluated but another key attack property, stealthiness, is largely overlooked. In this work, we design good practices to address these limitations, and we present the first comprehensive evaluation of transfer attacks, covering 23 representative attacks against 9 defenses on ImageNet. In particular, we propose to categorize existing attacks into five categories, which enables our systematic category-wise analyses. These analyses lead to new findings that even challenge existing knowledge and also help determine the optimal attack hyperparameters for our attack-wise comprehensive evaluation. We also pay particular attention to stealthiness, by adopting diverse imperceptibility metrics and looking into new, finer-grained characteristics. Overall, our new insights into transferability and stealthiness lead to actionable good practices for future evaluations.

研究动机与目标

• 解决迁移对抗攻击研究中系统性与公平性评估实践的缺失问题。
• 识别并纠正现有评估中的偏差，例如在非并行配置下（如 A+B 与 B 的对比）将新攻击与旧攻击进行比较。
• 强调现有评估中对隐蔽性的关键忽视，这些评估通常仅依赖 $L_p$ 范数。
• 针对 ImageNet 上的 9 种防御，对 23 种迁移攻击进行系统性、分类级的全面评估，以建立可操作的基准。
• 通过引入标准化度量和公开可用的代码库，使未来研究能够更富有意义地评估攻击。

提出的方法

• 提出迁移攻击的五类分类法（如梯度稳定、输入增强、特征干扰、代理优化、生成建模），以支持系统性、类内与类间比较。
• 在类别内和类别间使用一致的超参数设置（包括增强类攻击的输入副本数量）进行一对一比较。
• 引入五种超越 $L_p$ 范数的多样化不可察觉性度量（如 SSIM、FID 和 LPIPS），以更有效地评估隐蔽性。
• 训练一个 ResNet18 分类器以评估攻击是否可通过其扰动特征模式被区分。
• 分析 top-5 误分类模式，探索不同攻击类别是否引发不同的预测行为。
• 在 5000 张 ImageNet 图像上进行大规模评估，涵盖 23 种攻击与 9 种防御，结果按多种度量和类别报告。

实验结果

研究问题

• RQ1 如何对迁移对抗攻击进行系统性分类，以实现公平且全面的评估？
• RQ2 现有评估实践在多大程度上因超参数设置不一致或非并行比较而引入偏差？
• RQ3 即使在相同的 $L_\infty$ 范数下，隐蔽性（通过多种感知度量衡量）在不同类型的迁移攻击中如何变化？
• RQ4 扰动模式和误分类行为是否可用于区分不同攻击类别，从而暗示攻击溯源的可能性？
• RQ5 这些发现对未来迁移攻击与防御的设计与评估有何影响？

主要发现

• 在公平比较下（相同输入副本数），最早的输入增强攻击 DI 表现优于其类别中所有后续攻击，挑战了‘新方法必然更优’的假设。
• 在梯度稳定类攻击中增加迭代次数反而会降低性能，这与‘更多迭代提升迁移性’的普遍假设相悖。
• 所有迁移攻击在不可察觉性方面均劣于 PGD，其中生成建模类攻击（如 CDA）产生的扰动最易察觉，表现为高 FID 分数和与图像无关的模式。
• 使用 ResNet18 分类时，不同攻击的扰动模式高度可分，类内攻击的可分性低于类间攻击，验证了所提分类法的有效性。
• 不同攻击类别引发不同的误分类模式：梯度稳定和输入增强类攻击导致类别分布均匀，而生成建模类攻击（如 CDA）则几乎将所有图像误分类为单一类别（如“竖琴”）。
• RFA∞ 攻击因扰动与语义对齐，保持了更好的图像结构，从而获得了最高的 SSIM 分数，优于其他破坏纹理和边缘的攻击。