[论文解读] Recent Progress of Face Image Synthesis

Zhihe Lu, Zhihang Li+3 more|arXiv (Cornell University)|Jun 15, 2017

Face recognition and analysis参考文献 31被引用 12

一句话总结

本文全面综述了人脸图像生成方法，重点聚焦于传统方法与深度学习技术——特别是生成对抗网络（GANs）——这些技术已实现逼真且身份一致的人脸生成。其主要贡献在于整合了最先进的基于GAN的方法，通过公开数据库和指标进行评估，并识别出未来研究的开放性挑战。

ABSTRACT

Face synthesis has been a fascinating yet challenging problem in computer vision and machine learning. Its main research effort is to design algorithms to generate photo-realistic face images via given semantic domain. It has been a crucial prepossessing step of main-stream face recognition approaches and an excellent test of AI ability to use complicated probability distributions. In this paper, we provide a comprehensive review of typical face synthesis works that involve traditional methods as well as advanced deep learning approaches. Particularly, Generative Adversarial Net (GAN) is highlighted to generate photo-realistic and identity preserving results. Furthermore, the public available databases and evaluation metrics are introduced in details. We end the review with discussing unsolved difficulties and promising directions for future research.

研究动机与目标

• 系统性回顾传统与基于深度学习的人脸生成方法。
• 突出生成对抗网络（GANs）在实现逼真且身份一致的人脸生成中的作用。
• 总结人脸生成研究中使用的公开可用人脸数据库和评估指标。
• 识别尚未解决的挑战，并提出未来研究的有前景方向。

提出的方法

• 将传统人脸生成方法分类为子空间表示、几何建模和统计模型。
• 调研基于深度学习的方法，特别是用于端到端人脸图像生成的GAN变体。
• 分析能够生成高保真度、多样化且身份一致的人脸图像的基于GAN的模型。
• 通过人工标注的视觉评估和自动化指标（如Inception Score和像素级误差）评估生成质量。
• 使用RMSE评估光度误差和几何误差，使用IoU评估人脸掩码重叠度。
• 将下游任务性能（如人脸识别准确率）作为生成质量的间接评估指标。

实验结果

研究问题

• RQ1 基于子空间学习、几何建模和统计模型的传统人脸生成方法在性能和泛化能力方面如何比较？
• RQ2 基于GAN的深度学习模型在多大程度上能够生成逼真且身份一致的人脸图像？
• RQ3 评估生成人脸图像质量的最有效指标是什么？
• RQ4 当前人脸生成数据库和评估协议的主要局限性是什么？
• RQ5 哪些未来研究方向可克服高分辨率、跨模态及非配对数据人脸生成中的当前挑战？

主要发现

• 基于GAN的模型显著推动了人脸生成的发展，实现了高度逼真且身份保持良好的结果。
• 通过Inception Score和像素级误差（如RMSE）进行评估可提供客观、自动化的评估，尽管人工评估仍是基准。
• 三维可变形模型和基于几何的方法依然相关，特别是在从稀疏输入建模面部结构方面。
• 高分辨率人脸生成仍是主要开放性挑战，原因在于训练不稳定性和高计算需求。
• 跨模态生成（如可见光到近红外）和非配对数据训练是前景广阔但尚未充分发展的领域。
• 现有数据库在规模和多样性方面存在局限，特别是在野外场景和多姿态情况下，凸显了构建更大、更具代表性的数据集的迫切需求。