[论文解读] R-LPIPS: An Adversarially Robust Perceptual Similarity Metric

Sara Ghazanfari, Siddharth Garg+3 more|arXiv (Cornell University)|Jul 27, 2023

Adversarial Robustness in Machine Learning被引用 12

一句话总结

R-LPIPS 是一种对抗训练的感知相似性度量，在对抗扰动下相较于 LPIPS 提高鲁棒性，并在对抗性使用时实现更强的感知攻击。

ABSTRACT

Similarity metrics have played a significant role in computer vision to capture the underlying semantics of images. In recent years, advanced similarity metrics, such as the Learned Perceptual Image Patch Similarity (LPIPS), have emerged. These metrics leverage deep features extracted from trained neural networks and have demonstrated a remarkable ability to closely align with human perception when evaluating relative image similarity. However, it is now well-known that neural networks are susceptible to adversarial examples, i.e., small perturbations invisible to humans crafted to deliberately mislead the model. Consequently, the LPIPS metric is also sensitive to such adversarial examples. This susceptibility introduces significant security concerns, especially considering the widespread adoption of LPIPS in large-scale applications. In this paper, we propose the Robust Learned Perceptual Image Patch Similarity (R-LPIPS) metric, a new metric that leverages adversarially trained deep features. Through a comprehensive set of experiments, we demonstrate the superiority of R-LPIPS compared to the classical LPIPS metric. The code is available at https://github.com/SaraGhazanfari/R-LPIPS.

研究动机与目标

• 推动并分析 LPIPS 对对抗扰动的脆弱性。
• 提出一种对抗训练的 LPIPS 版本（R-LPIPS）以提高鲁棒性。
• 评估 R-LPIPS 对常见与感知对抗攻击的鲁棒性。
• 证明在某些防御下，对 R-LPIPS 构造的攻击可以超越以往的感知攻击。

提出的方法

• 将 LPIPS 定义为来自预训练网络的深度特征之间的加权 L2 距离。
• 应用对抗训练（Madry 等人，2017）以学习鲁棒的特征权重，同时保持主干网络固定。
• 通过比较在 LPIPS 和 R-LPIPS 下对多种失真情况下的自然与被攻击的 2AFC 得分来评估鲁棒性。
• 引入 R-PPGD 和 R-LPA 感知攻击，在攻击目标中将 LPIPS 替换为 R-LPIPS。
• 与感知防御（如感知对抗训练 PAT）进行对比，并分析在 ℓ∞ 和 ℓ2 扰动下的鲁棒性。

实验结果

研究问题

• RQ1 LPIPS 是否对对抗扰动脆弱？
• RQ2 在对抗攻击下，R-LPIPS 相对于 LPIPS 的鲁棒性如何？
• RQ3 基于 R-LPIPS 构建的感知攻击是否比基于 LPIPS 的更强？
• RQ4 对抗训练对感知度量的自然性能和被攻击性能有何影响？

主要发现

• 证明 LPIPS 会对用 ℓ∞-PGD 和 ℓ2-PGD 构造的对抗扰动脆弱，攻击下的 2AFC 分数下降。
• 通过对 ℓ∞ 或 ℓ2 对抗训练训练，R-LPIPS 展现出对对抗扰动的更高鲁棒性，在被攻击的阈值上保持高于 LPIPS 的表现。
• 在 OPT 风格的对抗优化下，LPIPS 在像素扰动较小的情况下可能产生巨大的感知距离，而 R-LPIPS 在此类扰动下更能保持接近人类感知相似性的特征。
• 基于 R-LPIPS 的攻击（R-PPGD、R-LPA）可以显著削弱如 PAT 这样的防御，凸显在与适当防御结合时，建立在鲁棒度量上的感知攻击的潜在弱点与强度。
• R-LPIPS 的自然（未攻击）性能（2AFC）在各失真下仍与 LPIPS 相当，并且对抗训练可能带来泛化收益。