[论文解读] Synthesizing Robust Adversarial Examples

Anish Athalye, Logan Engstrom+2 more|arXiv (Cornell University)|Jul 24, 2017

Adversarial Robustness in Machine Learning参考文献 33被引用 684

一句话总结

论文提出 Expectation Over Transformation (EOT)，一种通用框架，用于合成对一系列变换鲁棒的对抗样本，并展示在物理世界中能欺骗分类器的二维和三维对抗对象。

ABSTRACT

Standard methods for generating adversarial examples for neural networks do not consistently fool neural network classifiers in the physical world due to a combination of viewpoint shifts, camera noise, and other natural transformations, limiting their relevance to real-world systems. We demonstrate the existence of robust 3D adversarial objects, and we present the first algorithm for synthesizing examples that are adversarial over a chosen distribution of transformations. We synthesize two-dimensional adversarial images that are robust to noise, distortion, and affine transformation. We apply our algorithm to complex three-dimensional objects, using 3D-printing to manufacture the first physical adversarial objects. Our results demonstrate the existence of 3D adversarial objects in the physical world.

研究动机与目标

• 激发需要能够在现实世界变换（视角、照明、噪声）下存活的对抗样本。
• 引入一个通用框架（EOT），在变换分布上优化对抗输入。
• 演示鲁棒的二维对抗图像和三维纹理对象的合成，包括通过 3D 打印进行物理制造。
• 展示鲁棒的对抗对象在物理世界中跨越不同视点也能欺骗分类器。

提出的方法

• 引入 Expectation Over Transformation (EOT)：在变换分布 T 上最大化目标类别的期望对数概率。
• 将目标定义为 argmax_x' E_{t~T}[log P(y_t|t(x'))]，并且满足 E_{t~T}[d(t(x'),t(x))] < ε，其中 d 是感知距离。
• 通过在每次 SGD 步骤中对变换进行随机采样来近似期望的梯度，并对变换进行求导。
• 使用拉格朗日松弛形式，将目标与在 LAB 颜色空间中的感知距离项结合起来，以鼓励不可感知性。
• 在二维中，用仿射样变换（旋转、平移、噪声、照明）来建模 T；在三维中，将纹理视为输入，在姿态分布下渲染它们的视图，并对渲染过程进行求导。
• 通过将 EOT 应用于 3D 模型上的纹理并进行打印来制造物理的三维对抗对象，同时考虑现实世界的打印和照明变化。

实验结果

研究问题

• RQ1 对抗样本能否对现实世界变换的分布变得鲁棒？
• RQ2 EOT 框架能否合成在多样化视点和照明下仍然具有对抗性的二维和三维输入？
• RQ3 是否有可能制造在一系列姿态和条件下也能欺骗分类器的物理三维对象？
• RQ4 感知距离（LAB）和变换分布如何影响扰动大小和鲁棒性？

主要发现

• 二维对抗样本在1000个随机变换下可实现高鲁棒性（平均对抗性约为 96.4%）。
• 三维纹理对象在100个随机姿态下也可成为对抗对象，平均对抗性约为 83.4%。
• 两种打印的三维对象（龟和棒球）在物理测试中的广泛视点分布下仍具有对抗性（例如，龟在 100 张照片中的对抗性为 82%）。
• 该方法表明基于输入变换的防御并不能可靠阻止鲁棒对抗样本（EOT 能绕过若干防御）。
• 在变换分布中对打印色彩不准确和照明变化进行了建模，然而仍然产生了鲁棒的对抗对象。