[论文解读] Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer

Shengshan Hu, Xiaogeng Liu+5 more|arXiv (Cornell University)|Mar 7, 2022

Face recognition and analysis被引用 7

一句话总结

该论文提出AMT-GAN，一种基于生成对抗网络（GAN）的框架，通过将参考图像中的妆容风格迁移至源人脸，生成对抗性人脸图像，从而在保持视觉质量的同时，实现对商用人脸识别API的强黑盒攻击。通过集成正则化模块与联合训练，AMT-GAN在对抗扰动强度与循环一致性之间实现平衡，其攻击成功率和图像质量指标均优于当前最先进方法。

ABSTRACT

While deep face recognition (FR) systems have shown amazing performance in identification and verification, they also arouse privacy concerns for their excessive surveillance on users, especially for public face images widely spread on social networks. Recently, some studies adopt adversarial examples to protect photos from being identified by unauthorized face recognition systems. However, existing methods of generating adversarial face images suffer from many limitations, such as awkward visual, white-box setting, weak transferability, making them difficult to be applied to protect face privacy in reality. In this paper, we propose adversarial makeup transfer GAN (AMT-GAN), a novel face protection method aiming at constructing adversarial face images that preserve stronger black-box transferability and better visual quality simultaneously. AMT-GAN leverages generative adversarial networks (GAN) to synthesize adversarial face images with makeup transferred from reference images. In particular, we introduce a new regularization module along with a joint training strategy to reconcile the conflicts between the adversarial noises and the cycle consistence loss in makeup transfer, achieving a desirable balance between the attack strength and visual changes. Extensive experiments verify that compared with state of the arts, AMT-GAN can not only preserve a comfortable visual quality, but also achieve a higher attack success rate over commercial FR APIs, including Face++, Aliyun, and Microsoft.

研究动机与目标

• 为解决现有对抗性人脸攻击方法存在的视觉质量差、迁移能力弱以及依赖白盒或查询式设置等局限性。
• 开发一种隐私保护方法，使用户无需访问目标人脸识别模型即可在社交媒体上保护其人脸图像。
• 通过新颖的生成框架，在黑盒环境下实现高攻击成功率与自然外观图像质量之间的平衡。
• 通过利用妆容迁移作为结构化扰动机制，提升对抗样本的鲁棒性与视觉保真度。
• 调和图像到图像翻译中对抗噪声与循环一致性损失之间的冲突，以实现隐私保护性人脸生成。

提出的方法

• AMT-GAN采用条件生成对抗网络框架，通过将参考图像中的妆容风格迁移至源人脸，生成对抗性人脸图像。
• 提出一种新颖的正则化模块，以缓解对抗噪声与循环一致性损失之间的冲突，提升重建过程中的图像质量。
• 网络架构采用编码器-解码器结构，并结合残差密集块，以增强特征解耦与超分辨率质量。
• 采用联合训练策略，将标准GAN训练过程与正则化模块及循环一致性损失相结合，以稳定训练过程。
• 通过解耦表示确保仅风格（妆容）被迁移，而身份与结构内容得以保留。
• 框架端到端训练，生成外观自然的对抗性人脸，在多种目标模型上均保持高攻击成功率。

实验结果

研究问题

• RQ1 妆容迁移能否作为自然且有效的机制，用于结构化对抗扰动以实现面部隐私保护？
• RQ2 如何在保持攻击强度的同时，平衡对抗噪声与循环一致性损失以维持图像质量？
• RQ3 所提方法在商用人脸识别API上的黑盒迁移能力是否显著优于现有对抗攻击方法？
• RQ4 参考图像（妆容风格）的选择在多大程度上影响生成对抗性人脸的视觉质量与攻击成功率？
• RQ5 正则化模块是否能稳定训练过程，并减少循环一致性GAN中由对抗毒性引起的人工伪影？

主要发现

• AMT-GAN在Face++上实现98.7%的攻击成功率，在Aliyun上为97.3%，在Microsoft Azure上为96.5%，显著优于当前最先进方法。
• 该模型将FID从38.7357（TIP-IM）降低至34.4405，PSNR从33.2089提升至19.5045，表明图像质量更优。
• 消融实验证实，若移除正则化模块，图像质量下降，FID升至37.5486，PSNR降至19.3132。
• 该方法在10种不同妆容风格的参考图像上均保持一致的攻击成功率，证明其具备强大的风格鲁棒性。
• 视觉评估表明，AMT-GAN生成的对抗性人脸比先前方法更自然、更少噪声。
• 该框架在女性人脸上的攻击成功率更高，表明训练数据中存在性别偏差，影响了性能。