[论文解读] Switching Transferable Gradient Directions for Query-Efficient Black-Box Adversarial Attacks

Chen Ma, Shuyu Cheng+3 more|arXiv (Cornell University)|Sep 15, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用 4

一句话总结

SWITCH 提出了一种查询高效的黑箱对抗攻击方法，利用替代模型的可迁移梯度，在性能停滞时动态切换梯度及其反向方向。该方法在极低查询预算下实现了最先进（SOTA）的成功率，尤其在定向攻击和防御保护设置中表现卓越。

ABSTRACT

We propose a simple and highly query-efficient black-box adversarial attack named SWITCH, which has a state-of-the-art performance in the score-based setting. SWITCH features a highly efficient and effective utilization of the gradient of a surrogate model $\hat{\mathbf{g}}$ w.r.t. the input image, i.e., the transferable gradient. In each iteration, SWITCH first tries to update the current sample along the direction of $\hat{\mathbf{g}}$, but considers switching to its opposite direction $-\hat{\mathbf{g}}$ if our algorithm detects that it does not increase the value of the attack objective function. We justify the choice of switching to the opposite direction by a local approximate linearity assumption. In SWITCH, only one or two queries are needed per iteration, but it is still effective due to the rich information provided by the transferable gradient, thereby resulting in unprecedented query efficiency. To improve the robustness of SWITCH, we further propose SWITCH$_ ext{RGF}$ in which the update follows the direction of a random gradient-free (RGF) estimate when neither $\hat{\mathbf{g}}$ nor its opposite direction can increase the objective, while maintaining the advantage of SWITCH in terms of query efficiency. Experimental results conducted on CIFAR-10, CIFAR-100 and TinyImageNet show that compared with other methods, SWITCH achieves a satisfactory attack success rate using much fewer queries, and SWITCH$_ ext{RGF}$ achieves the state-of-the-art attack success rate with fewer queries overall. Our approach can serve as a strong baseline for future black-box attacks because of its simplicity. The PyTorch source code is released on https://github.com/machanic/SWITCH.

研究动机与目标

• 解决依赖梯度估计的基于得分的黑箱攻击所面临的高查询复杂度问题。
• 通过利用替代模型的可迁移梯度，无需目标模型梯度，提升查询效率。
• 检测替代梯度是否引导远离对抗区域，并动态切换至其反向方向。
• 通过结合基于梯度的更新与随机梯度自由（RGF）回退策略，增强对防御模型的鲁棒性。
• 为未来黑箱攻击研究建立一个简单但高效的基线。

提出的方法

• 在每次迭代中，SWITCH 首先尝试沿 ℓp 归一化的替代梯度 $ar{oldsymbol{g}}$ 更新对抗样本。
• 若沿 $ar{oldsymbol{g}}$ 方向更新后攻击目标（损失）未增加，则 SWITCH 切换至反向方向 $-ar{oldsymbol{g}}$，以避免错误更新。
• 该切换决策基于深度神经网络的局部近似线性假设。
• 该方法每轮仅使用一到两个查询：一个用于在 $oldsymbol{x}_{ ext{adv}} + heta ar{oldsymbol{g}}$ 处评估损失，可选地在 $oldsymbol{x}_{ ext{adv}} - heta ar{oldsymbol{g}}$ 处再评估一次。
• SWITCH${}_{ ext{RGF}}$ 通过在 $ar{oldsymbol{g}}$ 和 $-ar{oldsymbol{g}}$ 均无法提升损失时使用随机梯度自由（RGF）估计，扩展了该方法。
• 该方法在保持高查询效率的同时，显著提升了在挑战性场景（如定向攻击和防御模型）下的鲁棒性。

实验结果

研究问题

• RQ1 在黑箱攻击中，动态切换替代梯度及其反向方向是否能提升查询效率？
• RQ2 局部近似线性假设在指导对抗攻击方向切换方面有多有效？
• RQ3 结合基于梯度和随机梯度自由更新的混合策略，是否能在不牺牲查询效率的前提下进一步提升成功率？
• RQ4 SWITCH 在极端有限的查询预算下表现如何，特别是在定向攻击和防御保护场景中？
• RQ5 一种简单、基于梯度的方法是否能在查询效率和成功率上超越复杂的基于随机搜索的攻击方法？

主要发现

• SWITCH 在仅使用 365 次查询（WRN-40）的情况下，于 CIFAR-10 上实现了 92.5% 的无目标攻击成功率，优于相同查询预算下的先前方法。
• 在 CIFAR-10 的定向 $oldsymbol{ ext{ℓ}}_2$ 攻击中，SWITCH 在 1,000 次查询内实现了最高成功率（74.7%），表现出快速的初始收敛速度。
• SWITCH${}_{ ext{RGF}}$ 相较于 RGF 将查询消耗减少了高达 50%，且在防御保护设置下成功率更高。
• 在防御模型（ComDefend、特征蒸馏、JPEG）上，SWITCH 在 ComDefend 上取得了最高成功率，在特征蒸馏上达到与 SOTA 方法相当的结果。
• SWITCH 的收敛速度优于基于随机搜索的攻击方法（如 Square Attack），尤其在查询预算极为有限时（例如 <1,000 次查询）表现更优。
• 尽管结构简单，SWITCH 在多个基准（包括 CIFAR-10、CIFAR-100 和 TinyImageNet）上均实现了新的 SOTA 查询效率与成功率。