[论文解读] Photorealistic Facial Texture Inference Using Deep Neural Networks

Shunsuke Saito, Lingyu Wei+3 more|arXiv (Cornell University)|Dec 2, 2016

Face recognition and analysis参考文献 15被引用 12

一句话总结

本文提出一种基于深度学习的方法，通过利用预训练VGG-19网络的中间层特征相关性，从单张非约束2D图像推断出逼真且高分辨率的面部纹理图。该方法通过高分辨率人脸数据库中特征相关性的凸组合，合成完整的、介观尺度的细节（例如毛孔、雀斑），实现了与多视角Light Stage系统相当的逼真3D渲染效果。

ABSTRACT

We present a data-driven inference method that can synthesize a photorealistic texture map of a complete 3D face model given a partial 2D view of a person in the wild. After an initial estimation of shape and low-frequency albedo, we compute a high-frequency partial texture map, without the shading component, of the visible face area. To extract the fine appearance details from this incomplete input, we introduce a multi-scale detail analysis technique based on mid-layer feature correlations extracted from a deep convolutional neural network. We demonstrate that fitting a convex combination of feature correlations from a high-resolution face database can yield a semantically plausible facial detail description of the entire face. A complete and photorealistic texture map can then be synthesized by iteratively optimizing for the reconstructed feature correlations. Using these high-resolution textures and a commercial rendering framework, we can produce high-fidelity 3D renderings that are visually comparable to those obtained with state-of-the-art multi-view face capture systems. We demonstrate successful face reconstructions from a wide range of low resolution input images, including those of historical figures. In addition to extensive evaluations, we validate the realism of our results using a crowdsourced user study.

研究动机与目标

• 实现从单张非约束2D图像进行高保真3D人脸重建，克服传统单目捕捉方法的局限性。
• 合成具有介观尺度细节（如毛孔、雀斑）的逼真高分辨率反照率纹理图，这些细节无法通过线性PCA模型捕捉。
• 在不微调深度网络的前提下，保持主体相似性，生成语义合理且逼真的面部纹理。
• 通过众包用户研究，将合成纹理与真实Light Stage数据进行对比，验证其逼真度。

提出的方法

• 利用3D人脸形状重建的线性PCA模型，估计初始低频反照率。
• 从输入图像中可见人脸区域提取高频纹理分量，排除光照影响。
• 利用预训练VGG-19网络的中间层特征相关性，表示多尺度的高频面部细节。
• 通过计算来自大规模高分辨率人脸纹理数据库的参考相关性的凸组合，推断出完整的高频特征相关性集合。
• 通过反向传播和拟牛顿法迭代优化初始反照率，生成高分辨率反照率纹理图，使其匹配推断出的特征相关性。
• 该方法避免端到端训练，依赖固定且预训练的VGG-19网络，从而实现快速推理与良好泛化能力。

实验结果

研究问题

• RQ1 预训练深度网络的中间层特征相关性能否有效表征并从不完整的2D输入中重建介观尺度的面部纹理细节？
• RQ2 通过大规模数据库中的凸组合混合特征相关性，是否能生成比线性方法或最近邻方法更具语义合理性和真实感的面部纹理？
• RQ3 所提出的方法能否从低分辨率、部分遮挡、非约束的图像中生成高分辨率、逼真的反照率图，同时保持主体相似性？
• RQ4 与高端多视角系统（如Light Stage）捕获的真实数据相比，合成纹理的逼真度如何？
• RQ5 非专业用户能否在盲测用户研究中可靠地区分合成纹理与真实面部纹理？

主要发现

• 使用特征相关性凸组合的方法在用户研究中实现了最高逼真度，56%的参与者认为其结果比Light Stage捕获更逼真。
• 在众包用户研究中，74%的参与者更偏好本方法的结果，优于最先进的可视化框架；72%更偏好本方法的结果，优于基于PCA的拟合方法。
• 即使剔除异常值后，仍有57%的参与者认为合成结果比Light Stage数据更真实，表明其具有极强的感知质量。
• 该方法成功从低分辨率输入中重建了如雀斑、胡须等精细细节，包括历史人物，且空间一致性合理。
• 特征相关性混合方法优于PatchMatch修复与无约束线性组合，避免了重复图案与语义错误的填充。
• 该方法在不微调深度网络的前提下实现了高保真结果，仅依赖预训练的VGG-19特征，展现出良好的泛化能力与效率。