[论文解读] Towards Large yet Imperceptible Adversarial Image Perturbations with Perceptual Color Distance

Zhengyu Zhao, Zhuoran Liu+1 more|arXiv (Cornell University)|Nov 6, 2019

Adversarial Robustness in Machine Learning参考文献 57被引用 10

一句话总结

本文提出使用感知颜色距离（PerC），特别是 CIEDE2000，来优化对抗性图像扰动，而非传统 RGB 空间中的 Lp 范数。通过将扰动优化与人类颜色感知对齐，作者提出了 PerC-C&W 和 PerC-AL 方法，在保持不可见性的同时实现更大的 RGB 扰动，显著提升了对抗性强度和迁移能力，相较于 Lp 限制方法表现更优。

ABSTRACT

The success of image perturbations that are designed to fool image classifier is assessed in terms of both adversarial effect and visual imperceptibility. The conventional assumption on imperceptibility is that perturbations should strive for tight $L_p$-norm bounds in RGB space. In this work, we drop this assumption by pursuing an approach that exploits human color perception, and more specifically, minimizing perturbation size with respect to perceptual color distance. Our first approach, Perceptual Color distance C&W (PerC-C&W), extends the widely-used C&W approach and produces larger RGB perturbations. PerC-C&W is able to maintain adversarial strength, while contributing to imperceptibility. Our second approach, Perceptual Color distance Alternating Loss (PerC-AL), achieves the same outcome, but does so more efficiently by alternating between the classification loss and perceptual color difference when updating perturbations. Experimental evaluation shows PerC approaches outperform conventional $L_p$ approaches in terms of robustness and transferability, and also demonstrates that the PerC distance can provide added value on top of existing structure-based methods to creating image perturbations.

研究动机与目标

• 挑战传统假设，即 RGB 空间中紧密的 Lp-范数约束对于实现不可见的对抗性扰动是必要的。
• 通过以感知颜色距离（CIEDE2000）代替基于 RGB 的 Lp 范数进行优化，提升对抗性扰动的质量。
• 在 Lp 方法常失效的平滑、饱和区域增强不可见性，尤其是在高置信度误分类设置下。
• 证明感知颜色距离可与结构信息（如纹理复杂度）结合，进一步抑制可见伪影。
• 探索基于 PerC 的扰动在深度学习中用于隐私保护和安全加固应用的潜力。

提出的方法

• 提出 PerC-C&W，即 C&W 攻击的扩展，将 Lp-范数优化替换为在 CIELCH 颜色空间中的感知颜色距离（CIEDE2000）。
• 提出 PerC-AL，一种更高效的交替优化策略，在扰动更新过程中交替使用分类损失和感知颜色差异。
• 使用 CIELCH 颜色空间表示，以比标准 RGB 或 CIELAB 更准确地建模人类颜色感知。
• 采用 CIEDE2000 公式作为感知距离度量，以匹配人类视觉敏感度的方式量化颜色差异。
• 利用从 3×3 图像块局部标准差导出的纹理复杂度向量 σ，抑制高变化区域的扰动。
• 通过将感知距离与 (1−σ) 加权，调整 PerC-AL 中的损失函数，降低纹理区域的扰动强度，以提升视觉不可见性。

实验结果

研究问题

• RQ1 感知颜色距离（CIEDE2000）能否作为测量对抗性扰动大小的更优替代方案，同时保持不可见性？
• RQ2 以感知颜色距离为优化目标是否能产生更大的 RGB 扰动，且在视觉上仍不可见，特别是在饱和和光滑图像区域？
• RQ3 与标准 Lp 限制攻击（如 C&W、I-FGSM）相比，基于 PerC 的攻击在对抗性成功率、鲁棒性和迁移能力方面表现如何？
• RQ4 感知颜色距离能否有效与结构图像特征（如纹理复杂度）结合，以进一步提升不可见性而不牺牲对抗性强度？
• RQ5 基于 PerC 的扰动对模型鲁棒性有何影响？它们是否可通过新型防御机制检测或缓解？

主要发现

• PerC-C&W 和 PerC-AL 在高置信度水平（κ=40）下相较于标准 Lp 方法取得了更高的对抗性成功率，其中 PerC-AL 在 ResNet-152 和 VGG-16 上比 C&W 提升 1.2–2.1 个百分点。
• 基于 PerC 的方法在 RGB 空间中产生显著更大的 L2 和 Linf 范数（例如，在 Inception v3 上 κ=40 时，PerC-AL 的最大值分别为 4.7 和 6.9），同时保持视觉不可见性，尤其在平滑、饱和区域表现更优。
• 将 PerC 距离与结构信息（通过 σ 向量实现）结合可进一步提升不可见性，有效抑制纹理区域的扰动，增强视觉质量。
• 感知颜色距离在现有基于结构的方法基础上提供了附加价值，如在 PerC-AL+structure 变体中同时使用两者时性能进一步提升。
• 基于 PerC 的攻击在模型间表现出更优的迁移能力（例如从 Inception v3 到 GoogLeNet、VGG-16、ResNet-152），表明其具备更强的泛化能力。
• 结果证实，感知颜色距离在小 RGB 变化导致大感知差异的区域，比 Lp 范数更能准确反映人类视觉感知。