[论文解读] Should Adversarial Attacks Use Pixel p-Norm?

Ayon Sen, Xiaojin Zhu+2 more|arXiv (Cornell University)|Jun 6, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用 15

一句话总结

本文研究了像素 $p$-范数、地球移动距离（EMD）、结构相似性（SSIM）以及深度神经网络（DNN）嵌入是否能准确建模对抗攻击中人类对图像扰动的感知。通过一项人类参与者的心理实验，研究发现这些度量均未能完美匹配人类对可察觉差异（JND）的判断，但像素 3-范数在所测试的度量中提供了最接近的近似。

ABSTRACT

Adversarial attacks aim to confound machine learning systems, while remaining virtually imperceptible to humans. Attacks on image classification systems are typically gauged in terms of $p$-norm distortions in the pixel feature space. We perform a behavioral study, demonstrating that the pixel $p$-norm for any $0\le p \le \infty$, and several alternative measures including earth mover's distance, structural similarity index, and deep net embedding, do not fit human perception. Our result has the potential to improve the understanding of adversarial attack and defense strategies.

研究动机与目标

• 评估常用图像失真度量——像素 $p$-范数、EMD、SSIM 和 DNN 表示——是否能准确反映人类对图像微小变化的感知。
• 识别哪种度量在对抗攻击背景下最能近似人类对可察觉差异（JND）的判断。
• 挑战对抗机器学习领域中广泛存在的假设，即 $p$-范数（尤其是 $p=2$）是人类感知敏感度的有效代理。
• 通过人类行为实验提供关于图像失真感知的实证证据，重点关注微小且现实的扰动。
• 通过识别更符合人类感知的失真度量，为未来的对抗攻击与防御策略提供指导。

提出的方法

• 开展一项人类行为实验，参与者通过‘先展示 $\mathbf{x}_0$ 再施加扰动’的范式判断扰动图像是否与原始图像在感知上不同。
• 在多个图像 ($\mathbf{x}_0$) 和扰动方向（如 FGSM、PGD、$\pm1$-方向）上收集 JND 数据，以评估感知阈值。
• 评估多种失真度量：$p \in [0, \infty]$ 范围内的像素 $p$-范数、EMD、SSIM，以及使用 Inception V3 特征的 DNN 表示 $p$-范数。
• 通过 $\rho(\mathbf{x}_0, \mathbf{0})$ 对每种度量进行归一化，以实现不同度量间 JND 判断变异性比较。
• 将人类 JND 图像上归一化度量值的标准差用作近似质量的代理指标：标准差越低，表示与人类感知的匹配度越高。
• 使用 Kolmogorov-Smirnov 检验比较不同扰动类型（如对抗性方向与随机方向）下度量分布的差异。

实验结果

研究问题

• RQ1 像素 $p$-范数、EMD、SSIM 或 DNN 表示是否能准确反映人类对图像扰动的可察觉差异（JND）感知？
• RQ2 在多种图像刺激和扰动方向下，所测试的哪种度量最能近似人类 JND 判断？
• RQ3 是否存在某个特定的像素空间 $p$-范数，其与人类感知阈值的对齐程度优于其他范数？
• RQ4 DNN 表示（如 Inception V3）在检测微小图像变化方面与人类感知相比如何？
• RQ5 对抗性扰动（如 FGSM、PGD）与人类感知边界相比，其偏离程度在多大程度上超过简单扰动？

主要发现

• 所测试的任一度量——像素 $p$-范数、EMD、SSIM 或 DNN 表示 $p$-范数——均未能完美匹配人类 JND 判断，表明当前对抗性度量与人类感知之间存在根本性不匹配。
• 像素 3-范数在人类 JND 图像上的归一化度量值标准差最低，是所有测试度量中表现最佳的近似。
• 沿对抗性方向（如 PGD）的人类 JND 图像的 DNN 2-范数值显著高于沿简单 $\pm1$ 方向的值（中位数分别为 13.6 和 1.8），拒绝了分布相等的原假设（p 值 $2.1 \times 10^{-12}$）。
• 如图 8 所示，像素 3-范数在 JND 图像上的值变异性低于 $p=1,2,\infty$、EMD、SSIM 或 DNN 范数，表明其与感知更一致。
• 本研究发现，20% 的高引用论文在攻击中使用 $p$-范数时假设其感知有效性但缺乏证据，50% 仅出于惯例使用，凸显了方法论依据上的关键缺口。
• DNN 表示 $p$-范数表现出较高变异性（标准差 > 0.12），且因尺度不兼容未纳入主要比较，表明其作为人类感知阈值代理效果极差。