[论文解读] NeLF: Neural Light-transport Field for Portrait View Synthesis and Relighting

Tiancheng Sun, Kai-En Lin+3 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Vision and Imaging参考文献 42被引用 4

一句话总结

本文提出 NeLF，一种神经光传输场，仅需五张输入人像图像即可联合估计三维几何、外观和光照，从而实现高质量的视角合成与光照重演。通过采用带有领域自适应的 CNN-MLP 架构建模光传输矢量与环境图，NeLF 在合成与真实人像数据上均取得了最先进性能，且输入需求极少。

ABSTRACT

Human portraits exhibit various appearances when observed from different views under different lighting conditions. We can easily imagine how the face will look like in another setup, but computer algorithms still fail on this problem given limited observations. To this end, we present a system for portrait view synthesis and relighting: given multiple portraits, we use a neural network to predict the light-transport field in 3D space, and from the predicted Neural Light-transport Field (NeLF) produce a portrait from a new camera view under a new environmental lighting. Our system is trained on a large number of synthetic models, and can generalize to different synthetic and real portraits under various lighting conditions. Our method achieves simultaneous view synthesis and relighting given multi-view portraits as the input, and achieves state-of-the-art results.

研究动机与目标

• 解决仅从稀疏输入图像联合合成新视角与重演光照的人像难题。
• 克服先前基于 NeRF 的方法所需图像数量过多且无法支持重演光照的局限性。
• 将光照效应与人像外观解耦，以实现在任意环境图下的可控光照重演。
• 通过使用真实人像数据进行领域自适应，提升模型在真实世界人像上的泛化能力。
• 实现可微分的射线步进，联合优化多视角人像的几何、外观与光照。

提出的方法

• 使用类似 UNet 的 CNN 提取输入人像图像的多视角神经特征，编码每个像素的几何与外观信息。
• 对于任意三维点，通过投影聚合多视角特征，并利用 MLP 回归体素密度与光传输矢量。
• 将光传输建模为环境图的线性函数，从而仅通过更换输入光照即可实现重演。
• 集成一个子网络，从瓶颈特征中预测环境图，以辅助光照与外观的解耦。
• 应用一个领域自适应模块，包含一个 CNN 回归器，从特征重建输入图像，基于 CelebAMask-HQ 训练以提升对真实数据的鲁棒性。
• 端到端训练，采用复合损失函数，结合渲染损失、光照估计损失与领域正则化损失，以联合优化所有组件。

实验结果

研究问题

• RQ1 神经渲染系统能否仅使用五张输入人像图像，即实现高质量的视角合成与光照重演？
• RQ2 如何在神经体素表示中显式建模光传输，以支持任意光照重演？
• RQ3 在未进行微调的情况下，仅在合成数据上训练的模型能否有效泛化到真实人像图像？
• RQ4 在人像神经渲染中，哪些网络组件是实现外观、几何与光照解耦所必需的？
• RQ5 与标准 NeRF 风格方法相比，领域自适应在真实世界人像数据集上的性能提升如何？

主要发现

• NeLF 在联合视角合成与光照重演任务中达到最先进性能，在合成与真实人像数据集上均优于基线方法。
• 即使仅使用五张输入图像，该方法仍能生成逼真的新视角与光照重演结果，显著降低了对数据量的需求。
• 领域自适应模块显著提升了真实人像的渲染质量，减少了基线方法中常见的伪影与孔洞现象。
• SIPR+IBRNet 与 IBRNet+SIPR 等基线方法在真实数据上因分布偏移与模块不一致而产生明显伪影与孔洞。
• 该模型在多样化的真实人像上表现出良好泛化能力，可有效处理复杂光照变化，包括旋转与目标环境图。
• 尽管存在轻微色彩偏移与模糊等局限性，NeLF 在真实世界数据上仍展现出强大的鲁棒性与泛化能力。