[论文解读] They Might NOT Be Giants: Crafting Black-Box Adversarial Examples with Fewer Queries Using Particle Swarm Optimization

Rayan Mosli, Matthew Wright+2 more|arXiv (Cornell University)|Sep 16, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 9

一句话总结

该论文提出 AdversarialPSO，一种使用粒子群优化（PSO）的黑箱对抗攻击方法，可在显著减少查询次数的情况下生成高成功率的对抗样本。通过利用 PSO 无梯度、基于种群的搜索机制，该方法能高效地找到难以察觉的扰动，在 CIFAR-10 上实现 99.6% 的成功率，在 MNIST 上实现 96.3% 的成功率，在 ImageNet 上实现 82.0% 的成功率，且查询次数远低于当前最先进方法。

ABSTRACT

Machine learning models have been found to be susceptible to adversarial examples that are often indistinguishable from the original inputs. These adversarial examples are created by applying adversarial perturbations to input samples, which would cause them to be misclassified by the target models. Attacks that search and apply the perturbations to create adversarial examples are performed in both white-box and black-box settings, depending on the information available to the attacker about the target. For black-box attacks, the only capability available to the attacker is the ability to query the target with specially crafted inputs and observing the labels returned by the model. Current black-box attacks either have low success rates, requires a high number of queries, or produce adversarial examples that are easily distinguishable from their sources. In this paper, we present AdversarialPSO, a black-box attack that uses fewer queries to create adversarial examples with high success rates. AdversarialPSO is based on the evolutionary search algorithm Particle Swarm Optimization, a populationbased gradient-free optimization algorithm. It is flexible in balancing the number of queries submitted to the target vs the quality of imperceptible adversarial examples. The attack has been evaluated using the image classification benchmark datasets CIFAR-10, MNIST, and Imagenet, achieving success rates of 99.6%, 96.3%, and 82.0%, respectively, while submitting substantially fewer queries than the state-of-the-art. We also present a black-box method for isolating salient features used by models when making classifications. This method, called Swarms with Individual Search Spaces or SWISS, creates adversarial examples by finding and modifying the most important features in the input.

研究动机与目标

• 解决现有黑箱对抗攻击方法查询次数过多或成功率过低的局限性。
• 开发一种查询高效、无梯度的对抗样本生成方法，适用于黑箱环境。
• 在不访问模型内部结构的情况下，识别模型用于分类的关键特征。
• 通过利用 PSO 在多个查询源上的可扩展性，支持大规模、分布式的对抗攻击。

提出的方法

• AdversarialPSO 使用一组粒子在输入空间中迭代探索，通过小而难以察觉的扰动修改图像，其方向由衡量误分类可能性的适应度函数指导。
• 每个粒子根据其个人最优位置和群体中发现的全局最优位置，使用 PSO 的速度与位置更新规则进行更新，且无需梯度信息。
• 适应度函数旨在最大化误分类概率，同时最小化扰动的 L2 范数，以确保扰动的不可察觉性。
• SWISS（Swarms with Individual Search Spaces）通过限制粒子在输入空间的特定区域活动，扩展了 PSO，以定位并修改影响分类结果最关键的特征。
• SWISS 使用局部化的粒子群探测各个区域，确定最影响模型预测的特征，从而实现无需梯度信息的、面向特定特征的扰动。
• 攻击在 MNIST、CIFAR-10 和 ImageNet 上进行评估，主要指标为查询效率和对抗成功率。

实验结果

研究问题

• RQ1 像 PSO 这类无梯度、基于种群的优化方法，是否能在黑箱环境中以比基于梯度的方法更少的查询次数，有效生成高质量的对抗样本？
• RQ2 在不同数据集上，基于 PSO 的对抗攻击在查询效率和成功率方面与当前最先进黑箱攻击相比表现如何？
• RQ3 PSO 是否可被调整以在不访问模型梯度或内部结构的情况下，识别出模型用于分类的关键特征？
• RQ4 基于 PSO 的攻击在多源分布式环境下可扩展到何种程度，以支持大规模、隐蔽的对抗性攻击？

主要发现

• AdversarialPSO 在 CIFAR-10 上实现了 99.6% 的成功率，且查询次数显著少于先前最先进方法。
• 在 MNIST 上，该攻击达到 96.3% 的成功率，且查询开销极低，展现出高度的效率与鲁棒性。
• 在 ImageNet 上，AdversarialPSO 实现了 82.0% 的成功率，尽管数据集复杂度高，但其查询效率仍优于现有黑箱攻击方法。
• SWISS 方法成功识别并修改了模型用于分类的关键特征，实现了无需梯度信息的定向攻击。
• 基于 PSO 的方法通过允许多个实体共享目标模型参与同一攻击，实现了大规模、分布式的对抗攻击。
• 实验表明，PSO 在高维空间（如 8K 分辨率图像）中表现有效，通过在多个节点间分配搜索任务实现高效探索。