[论文解读] PhotoApp: Photorealistic Appearance Editing of Head Portraits

B R Mallikarjun, Ayush Tewari+9 more|arXiv (Cornell University)|Mar 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 16

一句话总结

PhotoApp 提出了一种新颖的方法，通过使用来自光场扫描仪的有限监督数据，在 StyleGAN 的潜在空间中学习变换，实现对人像照片的逼真编辑。该方法能够在保持高保真度的同时，对野外拍摄的图像实现同步的光照重制与姿态编辑，达到最先进的真实感与泛化能力，在定量指标和视觉质量上均优于现有方法，且运行速度达到实时交互水平。

ABSTRACT

Photorealistic editing of portraits is a challenging task as humans are very sensitive to inconsistencies in faces. We present an approach for high-quality intuitive editing of the camera viewpoint and scene illumination in a portrait image. This requires our method to capture and control the full reflectance field of the person in the image. Most editing approaches rely on supervised learning using training data captured with setups such as light and camera stages. Such datasets are expensive to acquire, not readily available and do not capture all the rich variations of in-the-wild portrait images. In addition, most supervised approaches only focus on relighting, and do not allow camera viewpoint editing. Thus, they only capture and control a subset of the reflectance field. Recently, portrait editing has been demonstrated by operating in the generative model space of StyleGAN. While such approaches do not require direct supervision, there is a significant loss of quality when compared to the supervised approaches. In this paper, we present a method which learns from limited supervised training data. The training images only include people in a fixed neutral expression with eyes closed, without much hair or background variations. Each person is captured under 150 one-light-at-a-time conditions and under 8 camera poses. Instead of training directly in the image space, we design a supervised problem which learns transformations in the latent space of StyleGAN. This combines the best of supervised learning and generative adversarial modeling. We show that the StyleGAN prior allows for generalisation to different expressions, hairstyles and backgrounds. This produces high-quality photorealistic results for in-the-wild images and significantly outperforms existing methods. Our approach can edit the illumination and pose simultaneously, and runs at interactive rates.

研究动机与目标

• 通过同时修改场景光照和相机视角，实现高质量、逼真的头像编辑。
• 克服现有监督方法的局限性，这些方法需要大量数据，且一次仅能编辑一个方面（如光照或姿态）。
• 超越有限的训练数据，泛化到包含多样表情、发型和背景的野外图像。
• 通过 StyleGAN 潜在空间优化，结合监督学习与生成建模的优势。
• 在保持高视觉保真度和一致性的同时，实现交互式推理速度。

提出的方法

• 该方法训练一个神经网络，用于预测 StyleGAN 潜在空间中的潜在码变换，而非在像素空间中学习。
• 使用一个小型、受控的光场扫描仪数据集，包含 150 种单光源条件，每种身份有 8 种相机姿态，所有图像均为中性表情且闭眼。
• 网络学习将源图像的潜在码映射到新码，以反映目标光照（通过环境贴图）和视角。
• 引入二元条件以区分是否包含光照变化，从而实现仅姿态编辑，同时保留原始光照。
• 该方法利用 StyleGAN 强大的先验知识，泛化到训练中未见的身份、表情和背景。
• 该方法可实时运行，支持头像图像的交互式编辑。

实验结果

研究问题

• RQ1 能否使用小型、监督的光场扫描仪数据集，训练出能泛化到多样野外人像的模型？
• RQ2 在 StyleGAN 潜在空间中进行编辑，是否能比直接在像素空间中学习实现更高的逼真度？
• RQ3 能否以高保真度和一致性实现同步的光照重制与姿态编辑？
• RQ4 在大幅光照和姿态变化下，该方法是否能保持面部身份和发丝、眼睛等细节？
• RQ5 该模型能否在无需微调的情况下泛化到未见过的表情、发型和背景？

主要发现

• 在完整测试集（150 个身份）上，PhotoApp 的 Si-MSE 为 0.0020，SSIM 为 0.9199，两项指标均优于先前方法。
• 即使仅使用 3 个身份进行训练，该方法仍达到 Si-MSE 0.0020 和 SSIM 0.9191，展现出强大的 few-shot 泛化能力。
• 在多种测试条件下，该方法在 Si-MSE 和 SSIM 上显著优于 Tewari 等人（2020b）和 Abdal 等人（2020）的方法。
• 定性结果表明，图像具有高度逼真感，能准确呈现自阴影、次表面散射和高光，无论在新光照还是新姿态下均表现良好。
• 该方法成功泛化到训练中未见的野外图像，涵盖多样的表情、发型和背景。
• 该方法支持交互式编辑速度，适用于虚拟制作和 VR 等实时应用场景。