[论文解读] Thundernna: a white box adversarial attack

Linfeng Ye, Hamidi, Shayan Mohajer|arXiv (Cornell University)|Nov 24, 2021

Adversarial Robustness in Machine Learning参考文献 3被引用 4

一句话总结

Thundernna 提出了一种新颖的一阶白盒对抗攻击方法，在保持单步效率的同时，取得了高于 FGSM 的成功率，其速度优于所有一阶和二阶方法。该方法利用凸化损失积分与基于梯度的噪声优化，以极低的计算开销生成高效的对抗样本。

ABSTRACT

The existing work shows that the neural network trained by naive gradient-based optimization method is prone to adversarial attacks, adds small malicious on the ordinary input is enough to make the neural network wrong. At the same time, the attack against a neural network is the key to improving its robustness. The training against adversarial examples can make neural networks resist some kinds of adversarial attacks. At the same time, the adversarial attack against a neural network can also reveal some characteristics of the neural network, a complex high-dimensional non-linear function, as discussed in previous work. In This project, we develop a first-order method to attack the neural network. Compare with other first-order attacks, our method has a much higher success rate. Furthermore, it is much faster than second-order attacks and multi-steps first-order attacks.

研究动机与目标

• 开发一种快速、高精度的白盒对抗攻击方法，以超越现有的一阶方法。
• 解决对抗样本生成中攻击成功率与计算效率之间的权衡问题。
• 探索使用凸化负对数似然损失函数以稳定并提升基于梯度的扰动生成效果。
• 实现在无需迭代优化的前提下高效生成对抗攻击，保持单步速度。
• 研究在不同扰动预算下，对抗扰动的鲁棒性与泛化能力。

提出的方法

• Thundernna 将对抗攻击建模为一个优化问题，采用带 softmax 的负对数似然（NLL）损失，该损失在其定义域上具有凸积分性质。
• 该方法推导出对抗噪声的闭式表达式，即 NLL 损失相对于输入图像梯度的倒数。
• 假设输入像素相互独立，并将梯度分母近似为全为 1 的矩阵，从而将噪声计算简化为 1 / (∂NLL_loss / ∂image)。
• 攻击通过 TVM 框架实现，以加速前向与反向传播，提升运行时效率。
• 该方法避免了迭代优化，是一种单步方法，在保持高速的同时实现了高成功率。
• 该方法设计为与数据无关，支持在不同输入和任务之间实现迁移性。

实验结果

研究问题

• RQ1 单步一阶攻击是否能在保持更优速度的同时，实现高于 FGSM 的成功率？
• RQ2 凸化损失函数是否能实现更稳定、更有效的基于梯度的对抗噪声生成？
• RQ3 Thundernna 的成功率如何随扰动预算增加而变化？为何在高预算下会出现下降？
• RQ4 非迭代的单步方法是否能在速度与成功率两方面均超越 PGD 和二阶攻击等迭代方法？
• RQ5 基于此凸损失的梯度方法生成的对抗扰动具有哪些内在特性？

主要发现

• Thundernna 在所有测试的扰动预算（0.1 至 0.5）下均实现了高于 FGSM 的攻击成功率，证明了其更高的有效性。
• 该方法每 50 张图像的生成耗时为 0.19 秒，显著优于 PGD（0.909 秒/50 张）和二阶攻击（0.955 秒/50 张）的速度表现。
• 尽管为单步方法，Thundernna 的成功率仍超过 FGSM，并在效率与准确性方面达到或超越部分多步方法。
• 随着扰动预算的增加，攻击成功率出现下降，这一反直觉现象值得进一步研究。
• 在 ImageNet-2012 上使用 ResNet-18 的实验验证了该方法的鲁棒性与跨标准基准的迁移能力。
• 实验结果证实了理论假设的正确性，即梯度分母可近似为全为 1 的矩阵。