[论文解读] VGAN-Based Image Representation Learning for Privacy-Preserving Facial Expression Recognition

Jiawei Chen, Janusz Konrad+1 more|arXiv (Cornell University)|Mar 19, 2018

Face recognition and analysis参考文献 24被引用 12

一句话总结

本文提出PPRL-VGAN，一种变分生成对抗网络框架，可学习身份不变的面部表征，用于隐私保护的面部表情识别。通过在潜在空间中解耦身份与表情，该模型能够在保持高表情识别准确率和多种威胁场景下视觉效用的同时，实现具有新身份的、保留表情的逼真人脸图像合成。

ABSTRACT

Reliable facial expression recognition plays a critical role in human-machine interactions. However, most of the facial expression analysis methodologies proposed to date pay little or no attention to the protection of a user's privacy. In this paper, we propose a Privacy-Preserving Representation-Learning Variational Generative Adversarial Network (PPRL-VGAN) to learn an image representation that is explicitly disentangled from the identity information. At the same time, this representation is discriminative from the standpoint of facial expression recognition and generative as it allows expression-equivalent face image synthesis. We evaluate the proposed model on two public datasets under various threat scenarios. Quantitative and qualitative results demonstrate that our approach strikes a balance between the preservation of privacy and data utility. We further demonstrate that our model can be effectively applied to other tasks such as expression morphing and image completion.

研究动机与目标

• 解决智能环境中面部表情识别系统日益增长的视觉隐私担忧。
• 开发一种在保持高实用性的同时保护用户身份的方法，用于表情识别任务。
• 在不损害视觉质量的前提下，实现具有替代身份的、保留表情的逼真人脸图像合成。
• 证明该框架在表情识别之外的应用潜力，包括表情变形和图像补全。
• 在多种威胁场景下评估模型，以验证其在隐私保护环境中的鲁棒性。

提出的方法

• 该模型将变分自编码器（VAE）与生成对抗网络（GAN）结合，用VAE编码器替代GAN的随机噪声输入，将输入图像映射到解耦的潜在表征。
• 编码器生成对身份不变的潜在表征f(I)，而解码器则根据指定的身份码c合成具有该身份但保留输入表情的面部图像。
• 训练一个多任务判别器，以区分真实与生成图像、识别身份并分类面部表情，从而提供反馈以提升真实感和解耦程度。
• 潜在表征f(I)用于表情识别，而解码器则实现具有不同身份但表达一致的图像合成。
• 在潜在空间中进行线性插值，通过在不同表情表征间平滑过渡，实现表情变形。
• 对于图像补全，模型通过潜在码和身份码生成完整人脸，然后用合成内容替换被遮挡区域。

实验结果

研究问题

• RQ1 深度生成模型能否学习到既对表情识别具有判别性又对身份不变的面部表征？
• RQ2 在保持表情识别任务数据效用的前提下，该模型在多大程度上能保护视觉隐私？
• RQ3 在合成与识别任务中，该模型对未见身份和表情类别的泛化能力如何？
• RQ4 所学的潜在空间能否支持表情变形和图像补全等下游应用？
• RQ5 在包括身份推断和表情识别攻击在内的各种威胁模型下，该模型表现如何？

主要发现

• 即使在隐藏身份的情况下，PPRL-VGAN模型在FERG和MUG数据集上仍实现了高面部表情识别准确率，证明了身份与表情的有效解耦。
• 在三种威胁场景下的定量评估表明，该模型显著减少了身份泄露，同时保持了表情识别性能。
• 定性和定量结果验证了该模型能够成功合成具有新身份且保留原始表情的逼真人脸图像。
• 通过潜在空间中的线性插值实现的表情变形，能够在不同面部表情间产生平滑且语义合理的过渡。
• 图像补全结果表明，该模型能够以高保真度重建缺失的面部区域，尤其在眼睛和眉毛等关键特征存在时表现更优。
• 当关键表情线索（如眯眼或皱眉）被遮挡时，模型在补全任务中偶尔会出现失败，表明其对缺失显著特征较为敏感。