[论文解读] Subspace Attack: Exploiting Promising Subspaces for Query-Efficient Black-box Attacks

Ziang Yan, Yiwen Guo+1 more|arXiv (Cornell University)|Jun 11, 2019

Adversarial Robustness in Machine Learning被引用 59

一句话总结

本文提出 Subspace Attack，利用来自一组参考模型的梯度来定义用于零阶梯度估计的低维子空间，相较于此前的黑箱攻击，在查询效率上取得显著提升。基于 dropout 的先验梯度进一步提高性能，即使在训练数据互不相同的情况下也能实现有效攻击。

ABSTRACT

Unlike the white-box counterparts that are widely studied and readily accessible, adversarial examples in black-box settings are generally more Herculean on account of the difficulty of estimating gradients. Many methods achieve the task by issuing numerous queries to target classification systems, which makes the whole procedure costly and suspicious to the systems. In this paper, we aim at reducing the query complexity of black-box attacks in this category. We propose to exploit gradients of a few reference models which arguably span some promising search subspaces. Experimental results show that, in comparison with the state-of-the-arts, our method can gain up to 2x and 4x reductions in the requisite mean and medium numbers of queries with much lower failure rates even if the reference models are trained on a small and inadequate dataset disjoint to the one for training the victim model. Code and models for reproducing our results will be made publicly available.

研究动机与目标

• 在有限访问受害模型的情况下，推动减少黑箱对抗攻击的查询复杂度。
• 提出一种基于子空间的梯度估计方法，利用来自参考模型的先验梯度。
• 证明将搜索限定在有前景的子空间可以在保持低失败率的同时提高查询效率。
• 研究可行的技术，如坐标下降和 dropout/层来提升效率和探索性。

提出的方法

• 在一组参考模型的梯度（先验梯度）所张成的低维子空间中构造。
• 在子空间内使用带带口-like bandit? 的零阶更新以估计用于 PGD 风格攻击的梯度方向。
• 引入坐标下降风格的优化，以在存在多组先验时降低计算负担。
• 对参考模型应用 dropout/ layer 技术以生成多样化的先验梯度并改善子空间对齐。
• 通过在子空间内沿估计梯度符号更新并截断到 l-infinity 范围，迭代地构造对抗样本。

实验结果

研究问题

• RQ1 如何利用来自多个参考模型的梯度信息来定义用于黑箱攻击的低维子空间？
• RQ2 将攻击限制在由先验梯度张成的子空间是否能在保持攻击成功率的同时减少查询次数？
• RQ3 坐标下降优化和 dropout 基先验能否提升子空间攻击的实用性和鲁棒性？
• RQ4 在 CIFAR-10 与 ImageNet 上，与不同受害/参考模型组合时，该方法的表现如何？
• RQ5 参考模型的数量和选择对攻击效果有何影响？

主要发现

• 与 NES 和 Bandits-TD 相比，子空间攻击在 CIFAR-10 和 ImageNet 上显著降低了平均查询数和中位查询数。
• 来自多个参考模型的先验梯度比随机子空间更能与受害梯度对齐，从而降低失败率。
• 在有多组先验的情况下，坐标下降与多先验的组合实现了与全子空间更新相似的效果，同时降低了计算量。
• 基于 dropout 的先验有助于探索，降低失败率且不会带来过高的查询开销。
• 即使参考模型在不同或较小数据集上训练，该方法仍能实现强攻击性能，经常优于基线。