[论文解读] RayS: A Ray Searching Method for Hard-label Adversarial Attack

Jinghui Chen, Quanquan Gu|arXiv (Cornell University)|Jun 23, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用 7

一句话总结

RayS 是一种新颖的硬标签对抗攻击方法，将寻找最近决策边界的连续搜索问题重新表述为离散问题，从而无需零阶梯度估计。通过使用快速检查步骤来剪枝无效搜索，RayS 在攻击成功率和查询复杂度方面显著优于先前的硬标签攻击方法，尤其在 $L_{\infty}$ 范数威胁模型下表现突出，并能揭示逃避标准白盒和黑盒攻击的“虚假鲁棒”模型。

ABSTRACT

Deep neural networks are vulnerable to adversarial attacks. Among different attack settings, the most challenging yet the most practical one is the hard-label setting where the attacker only has access to the hard-label output (prediction label) of the target model. Previous attempts are neither effective enough in terms of attack success rate nor efficient enough in terms of query complexity under the widely used $L_\infty$ norm threat model. In this paper, we present the Ray Searching attack (RayS), which greatly improves the hard-label attack effectiveness as well as efficiency. Unlike previous works, we reformulate the continuous problem of finding the closest decision boundary into a discrete problem that does not require any zeroth-order gradient estimation. In the meantime, all unnecessary searches are eliminated via a fast check step. This significantly reduces the number of queries needed for our hard-label attack. Moreover, interestingly, we found that the proposed RayS attack can also be used as a sanity check for possible "falsely robust" models. On several recently proposed defenses that claim to achieve the state-of-the-art robust accuracy, our attack method demonstrates that the current white-box/black-box attacks could still give a false sense of security and the robust accuracy drop between the most popular PGD attack and RayS attack could be as large as $28\%$. We believe that our proposed RayS attack could help identify falsely robust models that beat most white-box/black-box attacks.

研究动机与目标

• 解决在广泛使用的 $L_{\infty}$ 范数威胁模型下，有效且高效的硬标签对抗攻击挑战。
• 克服先前硬标签攻击方法的局限性，这些方法因依赖零阶梯度估计或低效的搜索策略而效果不佳或效率低下。
• 开发一种方法，通过检测逃避标准白盒和黑盒攻击的虚假鲁棒性，为鲁棒模型提供一种合理性检验。
• 通过快速检查机制消除不必要的搜索，提升查询效率。
• 证明当前声称具有高鲁棒准确率的防御方法，仍可能对更复杂的硬标签攻击（如 RayS）表现出脆弱性。

提出的方法

• 基于 $L_{\infty}$ 范数设置下的经验观察，将寻找最近决策边界的连续问题重新表述为基于离散搜索的问题。
• 使用决策边界半径作为主要搜索标准，该标准可直接衡量接近误分类的距离。
• 引入快速检查步骤，快速验证候选扰动是否位于决策边界上，从而剪枝无效的搜索路径。
• 从原始输入沿离散方向进行射线式搜索，以高效探索扰动空间。
• 通过仅依赖硬标签反馈（类别预测）来引导搜索过程，避免零阶梯度估计。
• 利用搜索的离散特性，在保持高攻击成功率的同时降低查询复杂度。

实验结果

研究问题

• RQ1 能否设计一种在 $L_{\infty}$ 范数威胁模型下既高效又有效的硬标签攻击方法，且无需依赖梯度估计？
• RQ2 与现有硬标签攻击方法（如 SignOPT、HSJA 和 RayS）相比，所提出的 RayS 方法在查询效率和攻击成功率方面表现如何？
• RQ3 RayS 在多大程度上能够暴露那些在标准白盒和黑盒攻击下看似鲁棒，但实际对更复杂硬标签攻击易受攻击的模型？
• RQ4 为何传统损失函数（如 CrossEntropy 和 CW）无法准确反映接近决策边界的中间对抗样本的真实潜力？
• RQ5 在硬标签攻击设置中，决策边界半径是否比代理损失函数（如 CrossEntropy 或 CW 损失）更具可靠性？

主要发现

• 在 CIFAR-10 数据集上，对于经过对抗插值训练的 WideResNet 模型（$\epsilon=0.031$），RayS 在攻击成功率上达到 SOTA 水平，为 44.5%，ADB 为 0.030，显著优于 SignOPT（87.1% 鲁棒准确率）和 HSJA（70.0% 鲁棒准确率）。
• 在对抗训练防御的模型中，当使用 RayS 攻击时，其鲁棒准确率相比标准 PGD 攻击最高下降 28%，揭示了显著的虚假鲁棒性。
• 在相同的 CIFAR-10 数据集上，RayS 将另一模型（对抗插值训练）的鲁棒准确率降低至 46.9%，而 HSJA 和 SignOPT 分别为 70.5% 和 84.2%，证明了其卓越的有效性。
• 通过快速检查步骤剪除不必要的搜索，RayS 降低了查询复杂度，使其比以往的硬标签攻击方法更高效。
• 该方法成功检测出“虚假鲁棒”模型，这些模型在 PGD 及其他白盒/黑盒攻击下保持高鲁棒准确率，但在 RayS 攻击下失败，表明当前防御存在虚假安全感。
• 结果表明，决策边界半径比 CrossEntropy 或 CW 损失等代理损失函数更具可靠性，因为后者可能因相同损失值而误导搜索，即使样本的对抗潜力截然不同。