[论文解读] Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks

Xu Han, Anmin Liu+3 more|arXiv (Cornell University)|Jul 6, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文提出一种基于采样的快速梯度重标度方法（S-FGRM），用数据重标度技术与深度优先采样策略替代梯度攻击中的符号函数，以提高梯度近似精度并增强对抗样本的迁移能力。该方法在ImageNet上显著优于最先进基线方法，在计算开销极低的情况下实现了更高的黑盒攻击成功率。

ABSTRACT

Deep neural networks are known to be vulnerable to adversarial examples crafted by adding human-imperceptible perturbations to the benign input. After achieving nearly 100% attack success rates in white-box setting, more focus is shifted to black-box attacks, of which the transferability of adversarial examples has gained significant attention. In either case, the common gradient-based methods generally use the sign function to generate perturbations on the gradient update, that offers a roughly correct direction and has gained great success. But little work pays attention to its possible limitation. In this work, we observe that the deviation between the original gradient and the generated noise may lead to inaccurate gradient update estimation and suboptimal solutions for adversarial transferability. To this end, we propose a Sampling-based Fast Gradient Rescaling Method (S-FGRM). Specifically, we use data rescaling to substitute the sign function without extra computational cost. We further propose a Depth First Sampling method to eliminate the fluctuation of rescaling and stabilize the gradient update. Our method could be used in any gradient-based attacks and is extensible to be integrated with various input transformation or ensemble methods to further improve the adversarial transferability. Extensive experiments on the standard ImageNet dataset show that our method could significantly boost the transferability of gradient-based attacks and outperform the state-of-the-art baselines.

研究动机与目标

• 为解决梯度攻击中符号函数的局限性，该函数对真实梯度提供粗糙近似，可能导致优化路径偏离。
• 通过引入保留梯度幅值差异的数据重标度方法，替代符号函数，以提高梯度更新方向估计的准确性。
• 通过创新的深度优先采样策略消除局部波动误差，稳定梯度更新。
• 开发一种通用方法，兼容任意基于梯度的攻击，可扩展用于输入变换与模型集成，进一步提升迁移能力。

提出的方法

• 在标准FGSM风格攻击中，用基于梯度值分布映射到[-1, 1]区间的重标度函数替代符号函数，保留相对幅值差异。
• 引入一种深度优先采样（DFS）方法，按深度优先遍历顺序选择梯度分量，以减少局部波动并稳定更新方向。
• 在生成扰动前对梯度应用重标度函数，确保梯度方向估计更精确且一致。
• 将S-FGRM方法集成至MI-FGSM与NI-FGSM等现有攻击中，使其可与输入变换或集成方法结合使用。
• 在重标度函数中引入可配置参数（c）以控制缩放强度，消融研究显示c=2时性能最优。
• 该方法保持计算高效，每次迭代仅需O(S)时间（相较基于排序的S²M等方法的O(S log S)更优）。

实验结果

研究问题

• RQ1 用数据重标度方法替代符号函数是否能实现更精确的梯度近似并提升对抗迁移能力？
• RQ2 深度优先采样策略是否能有效减少梯度更新中的局部波动并稳定优化路径？
• RQ3 与SOTA方法Staircase（S²M）相比，S-FGRM在攻击成功率与计算效率方面表现如何？
• RQ4 当与输入变换或模型集成结合时，S-FGRM的通用性与可扩展性如何？
• RQ5 所提方法是否能缓解基于梯度攻击中的过拟合问题，并提升黑盒设置下的性能？

主要发现

• S-FGRM在ImageNet上显著提升迁移能力，在启用输入变换的单模型设置下，对Inc-v3实现99.3%的攻击成功率，对Inc-v4实现86.2%。
• 该方法优于MI-FGSM与NI-FGSM基线模型，SMI-CT-FGSM在Inc-v3上达99.3%，在Inc-v4上达86.2%，较sgMI-CT-FGSM高出0.1–0.3%。
• DFS采样在仅使用N=12个样本时即实现优于基线方法的迁移能力，证明其高效与稳定。
• S-FGRM在性能上与Staircase方法（S²M）相当，但计算成本更低——每次迭代为O(S) vs. O(S log S)，更具可扩展性。
• 与集成攻击结合时，S-FGRM在多个目标模型（包括Inc-v3、Inc-v4、IncRes-v2与Res-101）上持续优于基线。
• 消融研究证实，重标度与DFS采样协同作用可减少过拟合并提升优化稳定性，从而提高黑盒攻击成功率。