[论文解读] Single-image Full-body Human Relighting

Manuel Lagunas, Xin Sun+6 more|arXiv (Cornell University)|Jan 1, 2021

Image Enhancement Techniques参考文献 46被引用 12

一句话总结

该论文提出了一种基于单张图像的深度学习方法，通过使用预计算辐射度传输（PRT）和球谐函数（SH）将图像分解为反照率、光照和光传输成分，显式建模漫反射（Oren-Nayar）和镜面反射（GGX）反射特性，并引入学习型残差项以校正PRT重建误差。该方法在合成图像和真实照片的光照重演任务中均优于以往最先进方法，在光照重演精度方面表现更优。

ABSTRACT

We present a single-image data-driven method to automatically relight images with full-body humans in them. Our framework is based on a realistic scene decomposition leveraging precomputed radiance transfer (PRT) and spherical harmonics (SH) lighting. In contrast to previous work, we lift the assumptions on Lambertian materials and explicitly model diffuse and specular reflectance in our data. Moreover, we introduce an additional light-dependent residual term that accounts for errors in the PRT-based image reconstruction. We propose a new deep learning architecture, tailored to the decomposition performed in PRT, that is trained using a combination of L1, logarithmic, and rendering losses. Our model outperforms the state of the art for full-body human relighting both with synthetic images and photographs.

研究动机与目标

• 实现仅从单张照片进行逼真的人体全身光照重演，无需受控光照或多组输入。
• 克服以往单图像光照重演方法对朗伯材质假设的局限性。
• 通过建模非朗伯反射特性（漫反射与镜面反射）并引入与光照相关的残差项，提升图像重建精度。
• 构建一个在大规模合成数据集上训练的深度学习框架，实现反照率、光照与光传输的有效解耦，以支持高效光照重演。
• 在合成图像与真实世界图像上均实现最先进的光照重演质量表现。

提出的方法

• 使用预计算辐射度传输（PRT）与球谐函数（SH）以可微分且高效的方式建模光照与光传输。
• 通过定制的卷积神经网络（CNN）架构，将输入图像分解为反照率、光照（SH系数）与光传输（基于PRT）成分。
• 采用Oren-Nayar模型显式建模漫反射反射特性，使用GGX微表面模型建模镜面反射特性，相比朗伯假设显著提升真实感。
• 引入可学习的与光照相关的残差项，以校正基于PRT的图像重建误差。
• 通过结合L1损失、对数损失与渲染损失进行网络训练，以提升感知质量与量化保真度。
• 利用包含约14万张图像的大规模合成数据集进行监督训练，数据集涵盖多样化的真人、姿态与光照贴图。

实验结果

研究问题

• RQ1 是否能够通过单图像深度学习方法实现高保真度的全身人体光照重演，而无需多张图像或受控光照条件？
• RQ2 与朗伯假设相比，显式建模非朗伯反射特性（Oren-Nayar与GGX）在多大程度上提升了光照重演的真实感？
• RQ3 在基于PRT的光照重演中，引入可学习残差项在多大程度上提升了重建精度？
• RQ4 与最先进单图像光照重演方法相比，该方法在真实照片上的泛化能力如何？
• RQ5 不同损失函数与网络架构组件对最终光照重演质量的影响如何？

主要发现

• 所提方法在光照重演质量方面达到最先进水平，在L1、L2与PSNR指标上均优于先前工作[KE18]，适用于合成图像与真实照片。
• 消融实验证实，包含残差学习与非朗伯反射特性的完整模型表现最佳，真实照片上的PSNR达到29.83，显著高于[KE18]的27.27。
• 残差项的引入显著改善了在背光等挑战性光照条件下的重建效果，有效吸收了PRT重建误差。
• 采用显式Oren-Nayar与GGX反射建模的模型，相比朗伯基线，能更准确捕捉定向光照效应与高光区域。
• 消融研究显示，若移除残差项或PRT分解机制，性能将显著下降，证实二者在模型中的关键作用。
• 尽管在强杂散光条件下（如面部区域反照率平坦）仍存在局限，但该模型在多样化输入下仍能生成合理且准确的光照重演结果。