[论文解读] Query Efficient Decision Based Sparse Attacks Against Black-Box Deep Learning Models

Viet Quoc Vo, Ehsan Abbasnejad+1 more|arXiv (Cornell University)|Jan 31, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出 SparseEvo，一种基于进化算法、查询效率高的决策型稀疏攻击方法，用于黑盒深度学习模型。其在显著减少查询次数的前提下，实现了最先进的攻击成功率，仅用 5,000 次查询即在无目标设置下达到与白盒 PGD₀ 相当的 ImageNet 攻击性能，有目标设置下仅需 20,000 次查询，同时对卷积神经网络和视觉变换器均表现出强鲁棒性。

ABSTRACT

Despite our best efforts, deep learning models remain highly vulnerable to even tiny adversarial perturbations applied to the inputs. The ability to extract information from solely the output of a machine learning model to craft adversarial perturbations to black-box models is a practical threat against real-world systems, such as autonomous cars or machine learning models exposed as a service (MLaaS). Of particular interest are sparse attacks. The realization of sparse attacks in black-box models demonstrates that machine learning models are more vulnerable than we believe. Because these attacks aim to minimize the number of perturbed pixels measured by l_0 norm-required to mislead a model by solely observing the decision (the predicted label) returned to a model query; the so-called decision-based attack setting. But, such an attack leads to an NP-hard optimization problem. We develop an evolution-based algorithm-SparseEvo-for the problem and evaluate against both convolutional deep neural networks and vision transformers. Notably, vision transformers are yet to be investigated under a decision-based attack setting. SparseEvo requires significantly fewer model queries than the state-of-the-art sparse attack Pointwise for both untargeted and targeted attacks. The attack algorithm, although conceptually simple, is also competitive with only a limited query budget against the state-of-the-art gradient-based whitebox attacks in standard computer vision tasks such as ImageNet. Importantly, the query efficient SparseEvo, along with decision-based attacks, in general, raise new questions regarding the safety of deployed systems and poses new directions to study and understand the robustness of machine learning models.

研究动机与目标

• 为解决在输出访问受限条件下，针对黑盒深度学习模型的查询高效、基于决策的稀疏攻击中存在的关键空白。
• 评估视觉变换器（ViT）和卷积神经网络（ResNet50）在 $l_0$-范数约束的稀疏攻击下的鲁棒性。
• 开发一种在极低模型查询次数下实现高攻击成功率的方法，以实现在真实系统中可扩展且隐蔽的对抗性攻击。
• 探究在基于决策的攻击设置下，视觉变换器相较于卷积神经网络是否更易或更不易受到稀疏对抗扰动的影响。

提出的方法

• SparseEvo 采用进化算法，通过基于模型决策反馈（预测类别）选择并突变像素集合，迭代优化稀疏扰动。
• 该算法采用基于种群的搜索策略，每个个体代表一种候选扰动模式，其适应度由分类错误率决定。
• 通过修改少量像素（低 $l_0$ 范数）生成扰动，搜索过程由每次查询后模型的 top-1 预测类别引导。
• 通过聚焦高影响力像素修改并采用自适应突变策略，有效探索搜索空间，从而保持查询效率。
• 该方法在基于决策的设置下运行，仅需每次输入的预测类别标签，无需模型输出得分或梯度信息。
• 在 ImageNet 上对 ResNet50 和视觉变换器（ViT）模型进行了评估，并对查询预算和稀疏性阈值进行了消融实验。

实验结果

研究问题

• RQ1 基于决策的稀疏攻击能否在远少于现有方法（如 Pointwise）的查询次数下实现高攻击成功率？
• RQ2 在黑盒环境下，视觉变换器与卷积神经网络在 $l_0$-范数稀疏攻击下的鲁棒性如何比较？
• RQ3 在攻击成功率和稀疏性方面，查询高效的黑盒攻击在多大程度上可达到白盒 PGD₀ 攻击的性能水平？
• RQ4 SparseEvo 中的进化搜索策略是否能相比梯度法或随机搜索方法，更快收敛到低稀疏度的对抗样本？

主要发现

• 在无目标设置下，SparseEvo 仅用 1,000 次查询即实现高于 Pointwise 在 5,000 次查询时的攻击成功率。
• 在有目标设置下，SparseEvo 使用 10,000 次查询的性能优于 Pointwise 在 20,000 次查询时的表现，证明其查询效率更优。
• 在无目标设置下，SparseEvo 使用 5,000 次查询时，在 ImageNet 上达到与理想白盒 PGD₀ 攻击相同的攻击成功率。
• 在有目标设置下，当稀疏性阈值超过 0.01 时，SparseEvo 使用 20,000 次查询的性能可与 PGD₀ 相当。
• 在无目标设置下，SparseEvo 仅用 3,000 次查询即实现中位数 78 个扰动像素（共 50,176 个像素），显著低于 Pointwise 的表现。
• 视觉变换器（ViT）在稀疏攻击下表现出比 ResNet50 更高的鲁棒性：在 2,000 次查询时，SparseEvo 对 ResNet50 的破坏程度与 PGD₀ 相当，但需 5,000 次查询才能对 ViT 达到相同破坏水平。