[论文解读] Relightable 3D Head Portraits from a Smartphone Video

Artem Sevastopolsky, Savva Ignatiev+3 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Vision and Imaging参考文献 41被引用 8

一句话总结

本文提出了一种神经渲染流水线，仅通过带有交替闪光与无闪光帧的智能手机视频，即可生成可重光照的3D人脸肖像。该系统利用运动恢复结构（SfM）生成粗略点云，并通过深度神经网络回归反照率、法线和光照图，从而在交互式帧率下实现任意光照条件下的逼真重光照，同时利用人脸特定先验实现鲁棒的反照率-光照解耦。

ABSTRACT

In this work, a system for creating a relightable 3D portrait of a human head is presented. Our neural pipeline operates on a sequence of frames captured by a smartphone camera with the flash blinking (flash-no flash sequence). A coarse point cloud reconstructed via structure-from-motion software and multi-view denoising is then used as a geometric proxy. Afterwards, a deep rendering network is trained to regress dense albedo, normals, and environmental lighting maps for arbitrary new viewpoints. Effectively, the proxy geometry and the rendering network constitute a relightable 3D portrait model, that can be synthesized from an arbitrary viewpoint and under arbitrary lighting, e.g. directional light, point light, or an environment map. The model is fitted to the sequence of frames with human face-specific priors that enforce the plausibility of albedo-lighting decomposition and operates at the interactive frame rate. We evaluate the performance of the method under varying lighting conditions and at the extrapolated viewpoints and compare with existing relighting methods.

研究动机与目标

• 从低成本、手持式智能手机视频捕获中实现逼真、可重光照的3D人像肖像。
• 通过使用闪光-无闪光视频序列作为输入，克服单视角或依赖专用设备的重光照方法的局限性。
• 在神经渲染框架中利用人脸特定先验，有效实现反照率与光照因子的解耦。
• 通过学习的神经渲染流水线实现实时光照重渲染性能，适用于新视角与新光照条件。
• 支持在任意光照条件下（包括方向光、点光源和环境贴图光照）进行3D肖像的交互式渲染。

提出的方法

• 通过运动恢复结构（SfM）和多视角去噪，从带有交替闪光与无闪光帧的智能手机视频中重建粗略3D点云。
• 在点云的每个点上附加神经描述符，以编码后续渲染所需的辐射度属性。
• 通过深度神经渲染网络，从新视角下的点云投影的光栅化结果中回归每像素的反照率、表面法线和阴影图。
• 采用包含L1损失、总变差（TV）损失、对称性损失以及基于VGG的感知损失的多分量损失函数进行训练，以提升几何与辐射度保真度。
• 在优化过程中应用人脸特定先验，以确保在整个头部及上半身实现合理的反照率-光照解耦。
• 最终模型通过将新光照参数代入学习到的光照模型，实现任意光照下的重光照，支持以交互式帧率实现实时光照渲染。

实验结果

研究问题

• RQ1 能否从标准智能手机视频（采用闪光-无闪光序列）中重建出可重光照的3D人像？
• RQ2 在非约束光照条件下，神经渲染结合点云几何在准确分解反照率与光照方面效果如何？
• RQ3 人脸特定先验在神经渲染流水线中对反照率与光照解耦的改善程度如何？
• RQ4 该系统能否泛化至训练期间未见的新视角与光照条件？
• RQ5 在感知质量与准确性方面，该方法与现有重光照方法相比，定量与定性表现如何？

主要发现

• 在合成的RenderPeople数据集上，于环境光 + 一阶球谐函数光照条件下，该方法达到PSNR 259.14与SSIM 0.1259，两项指标均优于DPR [50]。
• 消融研究显示，若移除法线损失，法线预测会更接近平均值；若省略TV损失，则反照率预测更模糊。
• 对称性损失可提升阴影准确性；若不使用该损失，对称面部特征的阴影效果会显得不自然。
• 基于VGG的感知损失对颜色匹配至关重要；若仅使用VGG的delta失真损失而无其他损失，法线的颜色一致性会显著变差。
• 当新光照叠加于原始房间光照之上时，系统表现最佳，表明其在新增光照场景中具备鲁棒性。
• 该模型在未参与训练的新视角上泛化良好，尽管在极端视角外推时性能略有下降。