[论文解读] Novel View Synthesis for High-fidelity Headshot Scenes

Satoshi Tsutsui, Weijia Mao+4 more|arXiv (Cornell University)|May 31, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出了一种新颖的方法，通过基于生成对抗网络（GAN）的融合网络，将神经辐射场（NeRF）与三维可变形模型（3DMM）融合，实现高保真度的人像新视角合成。该方法保留了NeRF的几何一致性以及3DMM的皮肤细节，在不同光照、表情和背景的真实场景中，实现了感知质量和保真度的最先进水平。

ABSTRACT

Rendering scenes with a high-quality human face from arbitrary viewpoints is a practical and useful technique for many real-world applications. Recently, Neural Radiance Fields (NeRF), a rendering technique that uses neural networks to approximate classical ray tracing, have been considered as one of the promising approaches for synthesizing novel views from a sparse set of images. We find that NeRF can render new views while maintaining geometric consistency, but it does not properly maintain skin details, such as moles and pores. These details are important particularly for faces because when we look at an image of a face, we are much more sensitive to details than when we look at other objects. On the other hand, 3D Morpable Models (3DMMs) based on traditional meshes and textures can perform well in terms of skin detail despite that it has less precise geometry and cannot cover the head and the entire scene with background. Based on these observations, we propose a method to use both NeRF and 3DMM to synthesize a high-fidelity novel view of a scene with a face. Our method learns a Generative Adversarial Network (GAN) to mix a NeRF-synthesized image and a 3DMM-rendered image and produces a photorealistic scene with a face preserving the skin details. Experiments with various real-world scenes demonstrate the effectiveness of our approach. The code will be available on https://github.com/showlab/headshot .

研究动机与目标

• 为解决在人像新视角合成过程中保留高保真度皮肤细节（如毛孔和痣）的挑战，这些细节对感知真实感至关重要。
• 克服NeRF的局限性（虽保持几何一致性但缺乏精细面部纹理细节）以及3DMM的不足（虽保留皮肤细节但存在几何不准确且缺乏场景上下文）。
• 开发一种方法，协同结合NeRF（精确的几何结构与场景上下文）和3DMM（精细的面部纹理）的优势，实现逼真的新视角合成。
• 实现NeRF渲染场景与3DMM渲染人脸的无伪影融合，避免简单拼接导致的明显融合伪影。

提出的方法

• 该方法使用基于GAN的融合网络，输入为NeRF生成的新视角图像和3DMM渲染的正面人脸图像。
• 融合网络通过对抗训练生成逼真输出，结合NeRF的几何一致性与3DMM的皮肤细节保真度。
• 3DMM提供基于先验的高分辨率人脸纹理图，而NeRF则提供包含背景的完整场景神经隐式表示。
• 融合过程端到端可微，支持通过对抗损失和感知损失联合优化NeRF与3DMM组件。
• 训练过程通过最小化感知损失与对抗损失来优化融合网络，确保面部纹理的真实感以及与场景的一致性融合。
• 该方法在包含室内、室外及说话人脸序列等多种真实场景中进行评估，涵盖不同表情、光照与背景。

实验结果

研究问题

• RQ1 结合NeRF与3DMM的混合方法是否能在人像新视角合成方面显著优于单独使用任一方法？
• RQ2 如何有效融合NeRF的几何一致性与3DMM的皮肤细节保真度，同时避免引入明显伪影或融合错误？
• RQ3 在基于GAN的融合网络中，对抗训练在多大程度上提升了合成人像图像的感知质量与真实感？
• RQ4 所提出方法是否能在复杂背景、动态表情与多变光照等多样化真实条件下保持性能？
• RQ5 3DMM先验与融合网络对最终图像质量的相对贡献如何？与简单融合或消融模型相比表现如何？

主要发现

• 所提方法在用户主观评价中获得平均分3.331 ± 0.134，显著优于D-NeRF（3.075 ± 0.094）、NerFace（2.569 ± 0.125）和PoseGAN（1.006 ± 0.012），证实其感知质量更优。
• 在定量指标方面，该方法在所有场景中平均PSNR达28.84，SSIM为0.8263，LPIPS为0.0826，优于基线模型，在保真度与感知相似性方面表现更佳。
• 消融实验表明，若移除3DMM组件，性能显著下降（LPIPS：0.0938 vs. 0.0826），证实其在保留皮肤细节中的关键作用。
• 若移除融合网络，性能出现显著下降（LPIPS：0.1425 vs. 0.0826），表明基于GAN的融合机制对无伪影融合至关重要。
• 该方法在所有场景中LPIPS均低于所有基线模型，平均LPIPS最低达0.0826，表明与人类感知高度一致。
• 消融研究确认，3DMM与融合网络均不可或缺；任一组件的缺失均导致性能下降，其中融合网络在实现无缝整合中起决定性作用。