[论文解读] SD-GAN: Structural and Denoising GAN reveals facial parts under occlusion

Samik Banerjee, Sukhendu Das|arXiv (Cornell University)|Feb 19, 2020

Face recognition and analysis参考文献 33被引用 5

一句话总结

该论文提出SD-GAN，一种新颖的生成对抗网络，通过结合结构化与去噪GAN，并采用双模态训练策略及一种新型结构损失（SSIM + 局部均方误差），实现对遮挡面部区域的重建。该方法在遮挡数据集上实现了最先进的面部识别性能，相较于GFC和TPG-GAN等先前方法，收敛速度更快，图像质量更优。

ABSTRACT

Certain facial parts are salient (unique) in appearance, which substantially contribute to the holistic recognition of a subject. Occlusion of these salient parts deteriorates the performance of face recognition algorithms. In this paper, we propose a generative model to reconstruct the missing parts of the face which are under occlusion. The proposed generative model (SD-GAN) reconstructs a face preserving the illumination variation and identity of the face. A novel adversarial training algorithm has been designed for a bimodal mutually exclusive Generative Adversarial Network (GAN) model, for faster convergence. A novel adversarial "structural" loss function is also proposed, comprising of two components: a holistic and a local loss, characterized by SSIM and patch-wise MSE. Ablation studies on real and synthetically occluded face datasets reveal that our proposed technique outperforms the competing methods by a considerable margin, even for boosting the performance of Face Recognition.

研究动机与目标

• 为解决在显著面部特征被遮挡情况下的面部识别挑战。
• 开发一种端到端的生成模型，无需后处理即可重建缺失的面部区域。
• 通过引入双模态训练策略，提升面部修复任务中的收敛速度与图像质量。
• 通过结合SSIM与PMSE的新型结构损失函数，增强整体与局部面部结构的保留能力。
• 证明SD-GAN作为面部识别系统在遮挡条件下的预处理模块的有效性。

提出的方法

• SD-GAN采用双模态训练过程：模式I生成具有环境光照的面部图像，模式II则利用基于去噪自编码器的生成器对输出进行去噪。
• 提出一种新型对抗性结构损失，结合结构相似性（SSIM）以保留整体面部结构，以及局部均方误差（PMSE）以保证像素级的局部保真度。
• 生成器在最小化结构损失的同时，通过极小化极大博弈欺骗判别器，从而促进生成真实且身份保持的面部重建。
• 通过在第二模态中利用去噪自编码器架构，设计训练算法以实现更快收敛至纳什均衡。
• 模型在真实与合成遮挡面部数据集（包括AR、CelebA和Multi-PIE）上进行端到端训练。
• 将该框架作为面部识别的预处理步骤进行评估，使用VGG作为分类器以衡量性能提升。

实验结果

研究问题

• RQ1 生成模型能否在保留身份与光照变化的前提下重建被遮挡的面部区域？
• RQ2 所提出的双模态训练策略是否相比现有面部修复GAN实现更快收敛？
• RQ3 新型结构损失（SSIM + PMSE）能否同时提升重建面部的整体结构与局部纹理保真度？
• RQ4 在遮挡数据集上，SD-GAN与SOTA方法（如GFC和TPG-GAN）相比，面部识别准确率如何？
• RQ5 SD-GAN能否作为无需后处理的有效预处理模块应用于面部识别系统？

主要发现

• 在AR数据库上，VGG+SD-GAN在AR1上的rank-1识别率达到96.82%，在AR2上达到92.64%，显著优于ISV（45.13%和39.81%）与LDA-IR（62.59%和57.44%）。
• SD-GAN在AR数据库上仅用550个周期收敛，每周期3分钟，而GFC需30,000个周期，每周期8分钟，表明训练时间大幅减少。
• 在具有90°姿态变化的Multi-PIE数据集上，SD-GAN的rank-1识别率达到65.19%，超过TPG-GAN的64.03%。
• SD-GAN的PSNR和SSIM值分别为19.84和0.66，而TPG-GAN分别为12.26和0.59，表明图像质量更优。
• 定性结果表明，SD-GAN能保持正确的光照与对称性，避免了TPG-GAN中常见的镜像失真或虚假特征（如耳环）等伪影。
• 消融研究证实，结构损失中SSIM与PMSE的结合显著提升了重建质量与识别性能。