[论文解读] Towards High-fidelity Nonlinear 3D Face Morphable Model

Luan Tran, Feng Liu+1 more|arXiv (Cornell University)|Apr 9, 2019

Face recognition and analysis参考文献 50被引用 14

一句话总结

本文提出了一种高保真度的非线性3D人脸可变形模型，通过使用灵活正则化的形状和反照率代理，结合双路网络结构，在仅优化潜在表示的情况下，实现了最先进的3D人脸重建性能，显著提升了重建细节质量，同时保持了身份的一致性。该方法在保真度和身份保持方面优于以往的线性与非线性3DMM。

ABSTRACT

Embedding 3D morphable basis functions into deep neural networks opens great potential for models with better representation power. However, to faithfully learn those models from an image collection, it requires strong regularization to overcome ambiguities involved in the learning process. This critically prevents us from learning high fidelity face models which are needed to represent face images in high level of details. To address this problem, this paper presents a novel approach to learn additional proxies as means to side-step strong regularizations, as well as, leverages to promote detailed shape/albedo. To ease the learning, we also propose to use a dual-pathway network, a carefully-designed architecture that brings a balance between global and local-based models. By improving the nonlinear 3D morphable model in both learning objective and network architecture, we present a model which is superior in capturing higher level of details than the linear or its precedent nonlinear counterparts. As a result, our model achieves state-of-the-art performance on 3D face reconstruction by solely optimizing latent representations.

研究动机与目标

• 为克服强正则化在3D人脸重建中对高频细节恢复的限制。
• 解决非线性3DMM中全局形状正则化与局部细节保真度之间的冲突目标。
• 通过学习的形状与反照率代理实现正则化解耦，从而提升3D人脸重建质量。
• 利用双路网络架构平衡全局鲁棒性与局部表达能力。
• 通过仅优化潜在表示，实现最先进的3D人脸重建性能，无需外部监督。

提出的方法

• 引入独立正则化的形状与反照率代理，使真实形状与反照率能够以更高保真度被学习。
• 采用新颖的配对策略，灵活结合正则化代理与真实组件，以在不损失质量的前提下保留细节。
• 设计双路网络结构，其中全局路径用于粗粒度人脸结构建模，多条局部路径用于语义人脸区域的细节建模。
• 通过全局与局部路径之间的特征融合，生成高分辨率3D人脸网格与反照率图。
• 利用深层编码网络从单张2D图像回归潜在码，实现3DMM参数的端到端优化。
• 通过在UV空间中估计无阴影反照率，实现光照与反照率的解耦，从而支持精确的纹理编辑。

实验结果

研究问题

• RQ1 通过独立正则化学习形状与反照率代理，是否能提升高保真度3D人脸重建性能？
• RQ2 双路网络架构在多大程度上能平衡全局结构与局部人脸细节建模？
• RQ3 非线性3DMM在仅优化潜在表示的情况下，能达到多大程度的最先进性能？
• RQ4 在具有挑战性的野外环境下，该方法是否比以往3DMM更好地保持身份特征？
• RQ5 该模型能否支持如贴纸或纹身应用等逼真的3D人脸编辑任务？

主要发现

• 所提模型通过仅优化潜在表示，实现了最先进的3D人脸重建性能，无需显式监督或额外数据。
• 在身份保持方面，77.2%的测试图像在与线性及非线性3DMM的重建结果比较中，与输入图像的余弦距离最小，表明身份保真度更优。
• 该模型成功恢复了面部毛发、妆容等高频细节，而这些细节在传统线性及强正则化非线性3DMM中常被丢失。
• 与SOTA方法如Sela等人[35]相比，所提模型对野外环境变化更具鲁棒性，且避免了由合成训练数据引起的域偏移问题。
• 双路网络通过为不同人脸区域专门设计滤波器，实现了更优的细节建模与计算效率。
• 该方法支持逼真的3D人脸编辑，如贴纸应用，通过精确估计形状、反照率与光照，实现自然渲染。