[论文解读] Yet another but more efficient black-box adversarial attack: tiling and evolution strategies

Laurent Meunier, Jamal Atif+1 more|arXiv (Cornell University)|Oct 5, 2019

Adversarial Robustness in Machine Learning参考文献 45被引用 20

一句话总结

本文提出了一种新型的黑盒对抗攻击框架，采用无导数优化（DFO）并设计了针对 $ε$-球约束攻击的新型目标函数。通过结合分块策略与先进的进化策略（如 CMA-ES），该方法实现了最先进性能——在无目标攻击中将查询预算减少高达 90 次，在有目标攻击中减少 800 次，平均仅用 630 次查询即可在 InceptionV3 上达到 99.2% 的成功率。

ABSTRACT

We introduce a new black-box attack achieving state of the art performances. Our approach is based on a new objective function, borrowing ideas from $\ell_\infty$-white box attacks, and particularly designed to fit derivative-free optimization requirements. It only requires to have access to the logits of the classifier without any other information which is a more realistic scenario. Not only we introduce a new objective function, we extend previous works on black box adversarial attacks to a larger spectrum of evolution strategies and other derivative-free optimization methods. We also highlight a new intriguing property that deep neural networks are not robust to single shot tiled attacks. Our models achieve, with a budget limited to $10,000$ queries, results up to $99.2\%$ of success rate against InceptionV3 classifier with $630$ queries to the network on average in the untargeted attacks setting, which is an improvement by $90$ queries of the current state of the art. In the targeted setting, we are able to reach, with a limited budget of $100,000$, $100\%$ of success rate with a budget of $6,662$ queries on average, i.e. we need $800$ queries less than the current state of the art.

研究动机与目标

• 开发一种比现有方法查询更少的更高效黑盒对抗攻击。
• 解决仅能访问 logits 而无法获取梯度或模型架构的黑盒攻击挑战。
• 探索并优化无导数优化（DFO）方法在对抗攻击生成中的性能。
• 研究深度神经网络对单次分块攻击的鲁棒性，揭示此前未被观察到的脆弱性。
• 评估所提方法在对抗性训练模型上的有效性，该模型是强防御基线。

提出的方法

• 提出一种专为无导数优化设计的新目标函数，灵感来源于 $ε$-约束 $∞$-范数白盒攻击。
• 引入一种分块策略，将扰动空间划分为更小、更易管理的区块，提升搜索效率与成功率。
• 在 Nevergrad 框架中应用多种 DFO 方法，包括 CMA-ES、DiagonalCMA、Cauchy (1+1)-ES 和离散优化。
• 采用连续（$\mathrm{DFO}_c$）与离散（$\mathrm{DFO}_d$）两种优化问题公式，探索不同的搜索空间。
• 在无目标与有目标设置下应用攻击，控制扰动范数（$\epsilon = 0.05$）与查询预算上限。
• 利用进化策略中早期查询通常接近随机的特性，而分块策略可提高早期成功的概率。

实验结果

研究问题

• RQ1 是否一种结合新型目标函数的无导数优化方法能在查询效率上超越现有黑盒攻击？
• RQ2 分块策略如何提升黑盒对抗攻击的成功率并减少查询次数？
• RQ3 为何深度神经网络对单次分块攻击存在脆弱性？这揭示了其鲁棒性理解中的哪些关键缺口？
• RQ4 所提方法在对抗性训练模型（强防御基线）上的有效性如何？
• RQ5 哪些 DFO 方法（如 CMA-ES、Cauchy (1+1)-ES）在黑盒对抗攻击中最为有效？原因是什么？

主要发现

• 所提方法在 InceptionV3 上的无目标攻击中，平均仅用 630 次查询即达到 99.2% 的成功率，相比之前最先进方法减少了 90 次查询预算。
• 在有目标攻击中，方法在平均 6,662 次查询内实现 100% 成功率，相比当前最先进方法减少了 800 次查询（使用 100,000 次查询预算）。
• CMA-ES 与 DiagonalCMA 在所有 DFO 方法中表现最优，CMA-ES 在有目标与无目标设置下的各项指标中均取得最佳结果。
• 分块策略显著提升了早期成功率，表现为中位数与平均查询次数较低，尤其在无目标攻击中更为明显。
• 该方法在对抗性训练模型上仍具有效性，尽管在 CIFAR-10 上使用防御性 WideResNet 时，简化的攻击方法略胜一筹。
• 本研究揭示了一种此前未被观察到的脆弱性：深度神经网络对单次分块攻击不具备鲁棒性，表明当前对模型鲁棒性的理解存在关键缺口。