[论文解读] Staircase Sign Method for Boosting Adversarial Attacks

Qilong Zhang, Xiaosu Zhu+3 more|arXiv (Cornell University)|Apr 20, 2021

Adversarial Robustness in Machine Learning参考文献 38被引用 6

一句话总结

本文提出了一种新型梯度操纵技术——阶梯符号法（S²M），通过为梯度符号分配分段化、自适应的权重，提升对抗性攻击的迁移性，同时不增加计算成本。在ImageNet上的评估显示，S²M在标准模型上将迁移性提升了5.1%，在对抗性训练的防御模型上提升了12.8%，在白盒和黑盒设置下均优于基线的FGSM方法。

ABSTRACT

Crafting adversarial examples for the transfer-based attack is challenging and remains a research hot spot. Currently, such attack methods are based on the hypothesis that the substitute model and the victim model learn similar decision boundaries, and they conventionally apply Sign Method (SM) to manipulate the gradient as the resultant perturbation. Although SM is efficient, it only extracts the sign of gradient units but ignores their value difference, which inevitably leads to a deviation. Therefore, we propose a novel Staircase Sign Method (S$^2$M) to alleviate this issue, thus boosting attacks. Technically, our method heuristically divides the gradient sign into several segments according to the values of the gradient units, and then assigns each segment with a staircase weight for better crafting adversarial perturbation. As a result, our adversarial examples perform better in both white-box and black-box manner without being more visible. Since S$^2$M just manipulates the resultant gradient, our method can be generally integrated into the family of FGSM algorithms, and the computational overhead is negligible. Extensive experiments on the ImageNet dataset demonstrate the effectiveness of our proposed methods, which significantly improve the transferability (i.e., on average, extbf{5.1\%} for normally trained models and extbf{12.8\%} for adversarially trained defenses). Our code is available at \url{https://github.com/qilong-zhang/Staircase-sign-method}.

研究动机与目标

• 为解决基于迁移的对抗性攻击中因符号法（SM）忽略梯度幅值差异而导致的梯度估计不佳问题。
• 通过更精确地逼近真实梯度方向，提升从替代模型生成的对抗性样本向黑盒目标模型的迁移性。
• 开发一种在不增加计算开销的前提下提升攻击成功率的方法，使其可无缝集成至现有FGSM系列算法中。
• 通过实证验证，SM的局限性会导致攻击区域偏离全局最优攻击方向，从而产生次优结果。

提出的方法

• S²M根据梯度单元的幅值将梯度符号划分为多个分段，实现对扰动方向的细粒度控制。
• 每个分段被赋予一个阶梯权重，以反映其底层梯度的相对幅值，从而提升与目标模型真实梯度方向的一致性。
• 该方法仅修改基于符号的扰动，保持FGSM类攻击的高效性，并可无缝集成至现有FGSM框架中。
• 通过I-FGS²M（I-FGSM的增强变体）实现迭代应用，该方法保持了较低的计算成本。
• 阶梯权重分配为启发式且依赖于数据，根据梯度幅值分布动态调整。
• 该方法与现有防御增强技术（如输入多样性、Poincaré损失、Patch-wise++）完全兼容。

实验结果

研究问题

• RQ1 符号法（SM）是否因忽略梯度幅值差异，导致在基于迁移的攻击中出现较差的梯度估计？
• RQ2 分段化、幅值感知的符号函数能否提升替代模型梯度与目标模型梯度之间的对齐程度？
• RQ3 所提出的阶梯符号法（S²M）在ImageNet上能在多大程度上提升对抗性迁移性？
• RQ4 S²M在白盒和黑盒设置下，对标准模型和对抗性训练模型的表现如何？
• RQ5 S²M能否以可忽略的计算开销集成至现有FGSM类攻击框架中？

主要发现

• 在ImageNet上，S²M使正常训练模型的迁移性平均提升5.1%，对抗性训练防御模型的迁移性平均提升12.8%。
• 与SM相比，S²M使替代模型更新方向与目标模型真实梯度之间的余弦相似度平均提升37.8%。
• 在定向攻击中，基于S²M的方法始终优于基线的FGSM方法，尤其在对抗性训练模型上，成功率最高提升12.8%。
• 随着扰动预算（ε）增大，S²M与FGSM基线之间的性能差距进一步扩大，尤其在ε=12时表现显著。
• 在所有评估的攻击变体（I、MI、DI、TI、Po、PI）中，S²M在白盒设置下均优于其基线FGSM版本，提升幅度达4.0%至9.8%。
• 该方法保持了可忽略的计算开销，并与现有防御增强技术（如输入多样性、Poincaré空间损失）完全兼容。