[论文解读] Query-Efficient Black-Box Attack by Active Learning

Pengcheng Li, Jinfeng Yi+1 more|arXiv (Cornell University)|Sep 13, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用 9

一句话总结

本文提出了一种基于主动学习和多样性感知采样的查询高效黑盒攻击方法，以减少训练准确替代模型所需的查询次数。通过利用C&W和DeepFool等先进白盒攻击方法，并结合采用多样性准则的主动学习，该方法在保持高攻击成功率的同时，将查询次数减少了90%以上，并实现了与目标模型超过85%的相似度。

ABSTRACT

Deep neural network (DNN) as a popular machine learning model is found to be vulnerable to adversarial attack. This attack constructs adversarial examples by adding small perturbations to the raw input, while appearing unmodified to human eyes but will be misclassified by a well-trained classifier. In this paper, we focus on the black-box attack setting where attackers have almost no access to the underlying models. To conduct black-box attack, a popular approach aims to train a substitute model based on the information queried from the target DNN. The substitute model can then be attacked using existing white-box attack approaches, and the generated adversarial examples will be used to attack the target DNN. Despite its encouraging results, this approach suffers from poor query efficiency, i.e., attackers usually needs to query a huge amount of times to collect enough information for training an accurate substitute model. To this end, we first utilize state-of-the-art white-box attack methods to generate samples for querying, and then introduce an active learning strategy to significantly reduce the number of queries needed. Besides, we also propose a diversity criterion to avoid the sampling bias. Our extensive experimental results on MNIST and CIFAR-10 show that the proposed method can reduce more than $90\%$ of queries while preserve attacking success rates and obtain an accurate substitute model which is more than $85\%$ similar with the target oracle.

研究动机与目标

• 为解决迁移型黑盒攻击中查询成本过高的问题，即攻击者需要数千次查询才能训练出替代模型。
• 通过用主动学习策略替代随机或启发式采样，提高查询效率，优先选择信息量大的样本。
• 通过引入多样性准则，缓解主动学习中的采样偏差，确保决策边界不同区域得到代表性覆盖。
• 评估将最先进的白盒攻击方法（C&W和DeepFool）与主动学习相结合在黑盒迁移攻击中的有效性。
• 证明所提方法在显著减少查询次数的同时，实现与基线方法相当或更优的攻击成功率。

提出的方法

• 该方法使用C&W和DeepFool攻击生成高质量的对抗性样本用于查询数据收集，替代效果较差的JSMA等方法。
• 采用主动学习策略——具体为最大熵和基于间隔的不确定性采样——以选择对目标模型查询最具有信息量的样本。
• 引入多样性准则，确保所选查询不仅具有信息量，还能分布在决策边界的多个区域，从而减少偏差。
• 利用主动选择并多样化的查询数据训练替代模型，从而提升其对目标模型决策边界的模仿能力。
• 查询过程从少量初始查询开始，基于不确定性和多样性迭代选择新样本，查询数量在初始阶段后呈线性增长。
• 该方法在MNIST和CIFAR-10上进行评估，与使用随机采样和水库采样的基线方法Raw进行性能对比。

实验结果

研究问题

• RQ1 与JSMA等简单方法相比，C&W和DeepFool等先进白盒攻击方法是否能显著提升黑盒攻击中替代模型训练数据的质量？
• RQ2 主动学习能在多大程度上减少训练准确替代模型所需的查询次数？
• RQ3 在主动学习中引入多样性准则是否能提升替代模型的泛化能力及其与目标模型的相似度？
• RQ4 结合主动学习与多样性采样是否能在大幅降低查询次数的同时保持或提升攻击成功率？
• RQ5 与基线方法Raw相比，所提方法在查询效率、攻击成功率和替代模型准确率方面表现如何？

主要发现

• 与基线方法Raw相比，所提方法将查询次数减少了90%以上，同时实现了相似或更优的攻击成功率。
• 在CIFAR-10上，原始最大熵方法实现10%攻击成功率需超过5,000次查询，而改进方法将该数值降至400次以下。
• 改进方法仅用200次查询即实现与目标模型85%的相似度，而原始主动学习方法需600次查询。
• 多样性感知策略显著加速了替代模型决策边界向目标模型oracle边界的收敛。
• 在CIFAR-10上，改进方法将实现目标模型准确率低于10%所需的查询次数从基线的10,000多次减少至1,000次以下。
• 基于C&W/DeepFool的数据生成与结合多样性的主动学习策略，在查询效率和模型相似度方面均优于所有基线方法。