[论文解读] Privacy-Protective-GAN for Face De-identification

Yifan Wu, Fan Yang+1 more|arXiv (Cornell University)|Jun 23, 2018

Face recognition and analysis参考文献 21被引用 44

一句话总结

本文提出 Privacy-Protective-GAN (PP-GAN)，一种基于 GAN 的人脸去身份框架，通过使用验证器（对比损失）和调节器（SSIM）在去除身份的同时保持结构和视觉可用性。它在 MORPH 数据上表现出强隐私保护、保留的实用性，以及高视觉相似性。

ABSTRACT

Face de-identification has become increasingly important as the image sources are explosively growing and easily accessible. The advance of new face recognition techniques also arises people's concern regarding the privacy leakage. The mainstream pipelines of face de-identification are mostly based on the k-same framework, which bears critiques of low effectiveness and poor visual quality. In this paper, we propose a new framework called Privacy-Protective-GAN (PP-GAN) that adapts GAN with novel verificator and regulator modules specially designed for the face de-identification problem to ensure generating de-identified output with retained structure similarity according to a single input. We evaluate the proposed approach in terms of privacy protection, utility preservation, and structure similarity. Our approach not only outperforms existing face de-identification techniques but also provides a practical framework of adapting GAN with priors of domain knowledge.

研究动机与目标

• 在图像数量激增和人脸识别能力增强的背景下，激发对隐私保护的人脸分析的兴趣。
• 开发一种基于 GAN 的去身份框架，在去除身份与保持结构/视觉实用性之间取得平衡。
• 在 GAN 训练中融入身份先验（验证器）和结构先验（基于 SSIM 的调节器）。
• 提供可端到端训练的架构，能够为单个探测人脸生成去身份输出。
• 提出结合隐私（验证）与实用性（检测与 SSIM）的系统评估指标。

提出的方法

• 提出包含四个组件的 PP-GAN：生成器（U-Net）、判别器、验证器（对比损失）和调节器（SSIM）。
• 使用三个损失项训练条件 GAN：cGAN 损失、验证损失和 SSIM 损失。
• 预训练验证器（Light CNN-9，带 Siamese 对比损失）并在 PP-GAN 训练过程中冻结。
• 使用 SSIM 作为保持结构的损失，促进亮度、对比度和结构相似性，同时验证器强制身份分离。
• 通过联合损失 L_face = L_cGAN + lambda1 * L_verif + lambda2 * L_sim，在最小-最大（G,D）框架中优化生成器。

实验结果

研究问题

• RQ1 一种基于 GAN 的去身份方法能否在保持图像结构和实用性的同时有效去除生物识别身份？
• RQ2 将验证器和基于 SSIM 的调节器整合是否能在不牺牲视觉质量的前提下提升隐私保护？
• RQ3 PP-GAN 在不同人口群体中的身份移除与结构相似性之间的权衡是什么？
• RQ4 相对于现有去身份方法，在标准隐私与实用性指标上 PP-GAN 的表现如何？

主要发现

• PP-GAN 通过阻碍原始图像与去身份图像之间的验证，实现强隐私保护。
• 该方法保留数据实用性，在去身份后仍保持面部相似度和检测器的可用性。
• 同时引入验证器与 SSIM 调节器比单独使用任一者时在身份移除与视觉相似性之间取得更好平衡。
• 在 MORPH 上的定量评估显示，在性别/种族群体之间具有较高的去身份性能，同时保持结构和实用性。
• 该框架提出了一个系统性的评估计划，结合预训练验证器和人脸检测器来评估去身份率与实用性。
• 相比先前的 k-same 和基于 GAN 的方法，在去身份效果和视觉质量方面表现更优。