[论文解读] QEBA: Query-Efficient Boundary-Based Blackbox Attack

Huichen Li, Xiaojun Xu+3 more|arXiv (Cornell University)|May 28, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 4

一句话总结

QEBA 提出了一种查询高效的基于边界黑箱攻击方法，通过将扰动投影到优化的低维子空间（空间、频率和内在分量）中，降低了查询复杂度，实现了更快的收敛速度和更小的扰动幅度。在 ImageNet、CelebA 和真实世界 API（如 MEGVII Face++ 和 Microsoft Azure）上，QEBA 以远少于当前最先进方法的查询次数实现了 100% 的攻击成功率。

ABSTRACT

Machine learning (ML), especially deep neural networks (DNNs) have been widely used in various applications, including several safety-critical ones (e.g. autonomous driving). As a result, recent research about adversarial examples has raised great concerns. Such adversarial attacks can be achieved by adding a small magnitude of perturbation to the input to mislead model prediction. While several whitebox attacks have demonstrated their effectiveness, which assume that the attackers have full access to the machine learning models; blackbox attacks are more realistic in practice. In this paper, we propose a Query-Efficient Boundary-based blackbox Attack (QEBA) based only on model's final prediction labels. We theoretically show why previous boundary-based attack with gradient estimation on the whole gradient space is not efficient in terms of query numbers, and provide optimality analysis for our dimension reduction-based gradient estimation. On the other hand, we conducted extensive experiments on ImageNet and CelebA datasets to evaluate QEBA. We show that compared with the state-of-the-art blackbox attacks, QEBA is able to use a smaller number of queries to achieve a lower magnitude of perturbation with 100% attack success rate. We also show case studies of attacks on real-world APIs including MEGVII Face++ and Microsoft Azure.

研究动机与目标

• 解决基于边界的黑箱攻击在高维输入空间中依赖梯度估计所导致的高查询成本问题。
• 在保持 100% 攻击成功率的前提下，减少成功生成对抗样本所需的模型查询次数。
• 开发一种仅依赖最终模型预测标签的可泛化框架，使其适用于真实世界 API。
• 通过聚焦于代表性低维子空间而非完整输入空间来优化梯度估计。
• 在离线基准测试（ImageNet、CelebA）和真实世界商业 API 上验证方法的有效性。

提出的方法

• 提出三种新颖的子空间优化方法：空间子空间（通过线性插值实现）、频率子空间（使用 DCT 进行低频采样）和内在子空间（基于 PCA 的梯度矩阵分解）。
• 使用二分查找将每个新的对抗样本投影到决策边界上，确保其保持误分类状态。
• 在降维后的子空间内估计梯度，以指导向目标图像的移动，同时最小化查询使用量。
• 该攻击迭代地在低维子空间中生成扰动，将其投影回原始空间，并通过查询检查模型预测结果。
• 理论分析证明，在优化子空间中进行梯度估计相比全空间估计更具最优性。
• 利用图像数据的结构特性（空间一致性、频谱内容和主成分）在不损失攻击质量的前提下降低维度。

实验结果

研究问题

• RQ1 在输入空间中进行降维是否能提升基于边界的黑箱攻击的查询效率？
• RQ2 在查询效率和扰动质量方面，空间、频率和内在子空间的表现如何比较？
• RQ3 与全空间梯度估计相比，降维子空间中的梯度估计在理论上是否最优？
• RQ4 与现有黑箱攻击相比，所提出方法是否能在真实世界 API 上以更少的查询次数实现高攻击成功率？
• RQ5 子空间选择如何影响不同数据集和攻击目标下的性能表现？

主要发现

• 与当前最先进基于边界的攻击方法相比，QEBA 在 ImageNet 和 CelebA 上实现 100% 攻击成功率所需的查询次数最多可减少 50%。
• 在 MEGVII Face++ 的 'compare' API 上，即使查询次数超过 6,000 次，QEBA 生成的对抗样本仍表现出更平滑的扰动和更低的 MSE（与目标图像的距离），优于 HJSA。
• 在 Microsoft Azure 的 'detect' API 上，QEBA 生成的对抗图像成功规避了人脸识别检测，且扰动极小且平滑，未出现如虚假猫耳等伪影。
• 所提出的基于子空间的梯度估计在理论上是最优的，并且在查询效率方面优于全空间梯度估计。
• 案例研究显示，QEBA 能够以合理幅度的扰动和高视觉保真度成功攻击真实世界商业 API。
• QEBA 的性能因子空间选择而异，具体取决于数据集大小、模型平滑度和攻击目标，其中基于 PCA 的内在子空间和频率子空间表现尤为出色。