[论文解读] StyleUV: Diverse and High-fidelity UV Map Generative Model

Myunggi Lee, Wonwoong Cho+3 more|arXiv (Cornell University)|Nov 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 5

一句话总结

StyleUV 提出了一种基于 GAN 的生成模型，无需在训练过程中使用真实 UV 图像，即可合成多样化且高保真的 3D 人脸重建 UV 图。通过利用可微分渲染器和前景轮廓掩码，它仅从野外图像中学习，实现了更优的纹理真实感以及潜在空间中解耦的语义控制。

ABSTRACT

Reconstructing 3D human faces in the wild with the 3D Morphable Model (3DMM) has become popular in recent years. While most prior work focuses on estimating more robust and accurate geometry, relatively little attention has been paid to improving the quality of the texture model. Meanwhile, with the advent of Generative Adversarial Networks (GANs), there has been great progress in reconstructing realistic 2D images. Recent work demonstrates that GANs trained with abundant high-quality UV maps can produce high-fidelity textures superior to those produced by existing methods. However, acquiring such high-quality UV maps is difficult because they are expensive to acquire, requiring laborious processes to refine. In this work, we present a novel UV map generative model that learns to generate diverse and realistic synthetic UV maps without requiring high-quality UV maps for training. Our proposed framework can be trained solely with in-the-wild images (i.e., UV maps are not required) by leveraging a combination of GANs and a differentiable renderer. Both quantitative and qualitative evaluations demonstrate that our proposed texture model produces more diverse and higher fidelity textures compared to existing methods.

研究动机与目标

• 解决由于标注 UV 图稀缺而导致的多样化且高质量 3D 人脸纹理模型匮乏的问题。
• 克服线性 3D 形态可变形模型（3DMM）在捕捉真实且多样化人脸外观方面的局限性。
• 开发一种纹理生成框架，从野外 RGB 图像中学习，而非依赖昂贵且人工精修的 UV 图。
• 实现在生成 UV 图潜在空间中对人脸属性进行解耦且语义明确的控制。
• 提供一种即插即用的纹理模型，可与现有的 3DMM 和非线性重建框架兼容。

提出的方法

• 使用可微分渲染器训练基于 StyleGAN-v2 的生成器，以模拟从 3D 几何和光照生成图像的过程，从而生成 UV 图。
• 引入前景轮廓掩码作为条件信号，以抑制背景伪影并提升生成质量。
• 通过在渲染图像上操作的 GAN 损失优化生成器，实现在无需真实 UV 监督情况下的端到端训练。
• 将预定义的 3D 人脸模板和 3D 参数（如身份、表情、光照）作为生成器的输入，以实现一致的 UV 映射。
• 使用可微分的图像形成函数，结合几何投影与光度渲染，实现对渲染流程的反向传播。
• 通过 StyleGAN 的风格调制实现潜在空间的解耦，并利用在伪属性标签上训练的线性 SVM 实现语义操控。

实验结果

研究问题

• RQ1 基于 GAN 的模型是否能够在不依赖真实 UV 图进行训练的情况下，生成高保真且多样化的 UV 图？
• RQ2 在可微分渲染框架中，引入前景轮廓掩码在多大程度上提升了生成 UV 图的质量与真实感？
• RQ3 生成 UV 图的潜在空间在多大程度上支持语义上合理的插值与属性操控？
• RQ4 该模型是否能在无这些属性显式监督的情况下，泛化到多样化的人脸身份，包括年龄、种族和性别的差异？
• RQ5 在纹理真实感与多样性方面，该模型的性能与现有 3D 人脸重建方法相比如何？

主要发现

• StyleUV 生成了逼真的 UV 图，覆盖了多样化的人脸身份，包括婴儿、老年人、不同种族的人以及浓妆者。
• 与基线方法相比，该模型在纹理保真度方面表现更优，这一结论得到了定量指标和定性对比的验证。
• 引入轮廓掩码显著提升了生成质量，减少了背景伪影并增强了前景一致性。
• 潜在空间插值展示了语义上线性的过渡，例如性别变化和化妆去除，表明实现了有效的解耦。
• 通过在潜在向量上使用线性 SVM 进行语义属性操控，实现了对生成 UV 图中性别、年龄和种族等属性的可控编辑。
• 该模型已公开发布为即插即用模块，可直接集成到现有的 3DMM 和非线性重建流水线中。