[论文解读] PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering

Yurui Ren, Ge Li+3 more|arXiv (Cornell University)|Sep 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 10

一句话总结

PIRenderer 是一种神经渲染模型，通过控制三维可变形人脸模型（3DMM）的参数来实现直观、逼真的肖像图像生成，这些参数涵盖面部表情、头部姿态和位移。它采用解耦的运动描述符和三部分网络（映射、形变、编辑）生成高保真图像与视频，在直接编辑和音频驱动的人脸重演任务中均优于最先进方法，显著提升了真实感与身份一致性。

ABSTRACT

Generating portrait images by controlling the motions of existing faces is an important task of great consequence to social media industries. For easy use and intuitive control, semantically meaningful and fully disentangled parameters should be used as modifications. However, many existing techniques do not provide such fine-grained controls or use indirect editing methods i.e. mimic motions of other individuals. In this paper, a Portrait Image Neural Renderer (PIRenderer) is proposed to control the face motions with the parameters of three-dimensional morphable face models (3DMMs). The proposed model can generate photo-realistic portrait images with accurate movements according to intuitive modifications. Experiments on both direct and indirect editing tasks demonstrate the superiority of this model. Meanwhile, we further extend this model to tackle the audio-driven facial reenactment task by extracting sequential motions from audio inputs. We show that our model can generate coherent videos with convincing movements from only a single reference image and a driving audio stream. Our source code is available at https://github.com/RenYurui/PIRender.

研究动机与目标

• 通过使用解耦的 3DMM 参数对人脸表情、头部姿态和位移进行控制，实现对肖像图像生成的直观、语义级控制。
• 解决现有方法依赖间接、空间受限的运动描述符（如关键点或边缘）的局限性。
• 在各种运动条件下实现高保真度的肖像编辑，并保持强大的身份一致性。
• 通过从音频输入中提取连贯且富有表现力的运动，将模型扩展至音频驱动的人脸重演。
• 展示该模型作为虚拟化身和社交媒体应用中高效神经渲染器的多功能性。

提出的方法

• 该模型使用映射网络将 3DMM 参数转换为潜在向量，以引导面部运动。
• 形变网络从潜在向量中估计形变场，并将其应用于源图像，生成粗略结果。
• 编辑网络对形变后的图像进行精细化处理，生成具有高保真细节的逼真输出。
• 该模型利用完全解耦的 3DMM 参数作为运动描述符，实现与主体无关且语义明确的控制。
• 在音频驱动重演中，模型通过学习函数 $f_\theta$ 从音频中提取序列化运动系数，实现多样化且逼真的运动生成。
• 该架构通过对抗性损失和感知损失进行端到端训练，以确保真实感与运动准确性。

Figure 1: Example results produced by our PIRenderer. This model can generate photo-realistic portrait images according to the user-specified motions (top), motions of another individual (middle), and motions generated from audios (bottom).

实验结果

研究问题

• RQ1 神经渲染器能否使用完全解耦的 3DMM 参数作为控制信号，生成逼真的肖像图像？
• RQ2 在从他人视频中模仿运动时，该模型在多大程度上能保持源身份的一致性？
• RQ3 该模型能否仅从音频输入中生成连贯且富有表现力的面部运动序列？
• RQ4 与关键点等空间受限描述符相比，使用语义解耦的运动描述符是否能提升性能？
• RQ5 该模型能否在不同身份间泛化，并在直接与间接编辑场景中均生成逼真结果？

主要发现

• 在 MTurk 评估中，PIRenderer 的欺骗率最高——同身份重建达到 86.5%，跨身份模仿达到 78.5%，表明其真实感显著优越。
• 在定量指标上，PIRenderer 在重建与运动模仿任务中均优于最先进方法，包括 FOMM、GFLA 和 X2Face。
• 该模型能从音频输入中生成准确的嘴唇动作、微表情（如眨眼、撅嘴）以及自然的头部姿态，而 DAVS 无法生成非唇部动作。
• 定性结果表明，即使在大幅姿态或表情变化下，也未出现形变伪影、过度平滑或身份退化现象。
• 该模型能将单个音频流中的运动成功迁移至任意目标身份，生成多样化且生动的面部运动序列。
• 使用完全解耦的 3DMM 参数可实现与主体无关的运动提取，使模型无需微调即可在不同源人脸间泛化。

Figure 2: Overview of the PIRenderer. Our model first maps the input motion descriptor $\mathbf{p}$ to a latent vector $\mathbf{z}$ . Then a coarse image is generated by the warping network. Finally, the editing network is responsible for generating the final image by editing the coarse result.