[论文解读] Photo-realistic Face Images Synthesis for Learning-based Fine-scale 3D Face Reconstruction.

Yudong Guo, Juyong Zhang+3 more|arXiv (Cornell University)|Aug 3, 2017

Face recognition and analysis参考文献 30被引用 5

一句话总结

本文提出了一种新颖的数据生成方法，结合逆向渲染与多尺度细节迁移，以合成具有皱纹和表情的逼真人脸图像，从而实现从单张图像或单目视频中实时、高保真度的3D人脸重建的粗到细CNN框架，其在质量和效率方面均优于当前最先进方法。

ABSTRACT

With the powerfulness of convolution neural networks (CNN), CNN based face reconstruction has recently shown promising performance in reconstructing detailed face shape from 2D face images. The success of CNN-based methods relies on a large number of labeled data. The state-of-the-art synthesizes such data using a coarse morphable face model, which however has difficulty to generate detailed photo-realistic images of faces (with wrinkles). This paper presents a novel face data generation method. Specifically, we render a large number of photo-realistic face images with different attributes based on inverse rendering. Furthermore, we construct a fine-detailed face image dataset by transferring different scales of details from one image to another. We also construct a large number of video-type adjacent frame pairs by simulating the distribution of real video data. With these nicely constructed datasets, we propose a coarse-to-fine learning framework consisting of three convolutional networks. The networks are trained for real-time detailed 3D face reconstruction from monocular video as well as from a single image. Extensive experimental results demonstrate that our framework can produce high-quality reconstruction but with much less computation time compared to the state-of-the-art. Moreover, our method is robust to pose, expression and lighting due to the diversity of data.

研究动机与目标

• 解决基于CNN的3D人脸重建中缺乏多样化、逼真训练数据的问题，特别是针对皱纹等细微细节。
• 克服粗略形态可变形模型在生成逼真人脸纹理和表情方面的局限性。
• 构建大规模、多样化的逼真人脸图像数据集及其相邻视频帧对，以提升模型泛化能力。
• 实现在不同姿态、表情和光照条件下，实时、高精度的3D人脸重建。

提出的方法

• 利用逆向渲染生成具有多样化属性的逼真人脸图像，包括逼真的皱纹和光照变化。
• 应用多尺度细节迁移，通过融合不同源图像的特征，合成高分辨率、高细节的人脸图像。
• 使用上述技术构建大规模3D人脸图像数据集，包含逼真的纹理和表情。
• 通过模拟真实视频数据的时间分布，生成类似视频的相邻帧对，以提升时间一致性。
• 设计一个包含三个级联卷积网络的粗到细学习框架，实现端到端的3D人脸重建。
• 在合成数据集上训练该框架，以实现在单目视频或单张图像输入下的实时推理。

实验结果

研究问题

• RQ1 逆向渲染与多尺度细节迁移是否能有效生成包含皱纹和表情等精细细节的逼真人脸图像？
• RQ2 大规模、多样化的合成人脸图像数据集是否能提升3D人脸重建模型的泛化能力与鲁棒性？
• RQ3 在合成数据上训练的粗到细CNN框架是否能实现实时、高质量的3D人脸重建，输入为单张图像或视频？
• RQ4 与当前最先进方法相比，该方法在不同姿态、表情和光照条件下表现如何？

主要发现

• 所提方法生成的逼真人脸图像具有高保真度的细节，如皱纹和表情，其逼真度超越了传统形态可变形模型。
• 合成数据集使模型在多样化姿态、表情和光照条件下均表现出良好的泛化能力。
• 粗到细框架在计算时间上显著少于当前最先进方法，同时实现了高质量的3D人脸重建。
• 该模型在单目视频和单张图像输入下表现出鲁棒性能，保持了良好的时间一致性和几何精度。