[论文解读] Structural Decompositions for End-to-End Relighting.

Thomas Nestmeyer, Iain Matthews+2 more|arXiv (Cornell University)|Jun 7, 2019

Computer Graphics and Visualization Techniques参考文献 37被引用 3

一句话总结

本文提出了一种端到端的深度学习框架，将人脸图像分解为漫反射分量和残差分量，以实现精确的光照重演。通过基于物理的图像形成模型对固有图像分量进行建模，并将非漫反射效应作为残差进行预测，该方法在复杂光照和挑战性姿态条件下实现了精确且可泛化的光照重演，其有效性在包含21名受试者的光照阵列数据集（每名受试者32个受控光源）上得到验证。

ABSTRACT

Relighting is an essential step in realistically transferring objects from a captured image into another environment. For example, authentic telepresence in Augmented Reality requires faces to be displayed and relit consistent with the observer's scene lighting. We investigate end-to-end deep learning architectures that both de-light and relight an image of a human face. Our model decomposes the input image into intrinsic components according to a diffuse physics-based image formation model. We enable non-diffuse effects including cast shadows and specular highlights by predicting a residual correction to the diffuse render. To train and evaluate our model, we collected a portrait database of 21 subjects with various expressions and poses. Each sample is captured in a controlled light stage setup with 32 individual light sources. Our method creates precise and believable relighting results and generalizes to complex illumination conditions and challenging poses, including when the subject is not looking straight at the camera.

研究动机与目标

• 通过学习解耦固有图像分量，实现在增强现实中的逼真人脸光照重演。
• 解决在光照重演过程中保持非漫反射效应（如投影阴影和高光）的挑战。
• 开发一种在复杂光照条件和非正面对位姿态下具有泛化能力的方法。
• 在每名受试者拥有32个光源的大规模受控光照阵列数据集上进行模型训练与评估。
• 实现去光照和光照重演的端到端学习，而无需对中间分量提供显式监督。

提出的方法

• 该模型利用基于物理的图像形成模型，将输入图像分解为漫反射分量和残差分量。
• 它预测一个残差校正项，以补偿诸如投影阴影和高光等非漫反射效应。
• 该架构通过大规模人像数据库进行端到端训练，联合优化去光照和光照重演。
• 网络利用32光源光照阵列设置，捕捉21名受试者在多样化光照条件下的图像。
• 该方法采用可微分渲染流水线，以确保与物理图像形成原理的一致性。
• 残差预测使模型即使在光照和姿态变化具有挑战性的条件下，也能实现高保真度的光照重演。

实验结果

研究问题

• RQ1 深度学习模型能否准确地将人脸图像分解为具有物理意义的分量，以实现端到端的光照重演？
• RQ2 该模型在光照重演过程中对诸如高光和投影阴影等非漫反射效应的保留效果如何？
• RQ3 该模型在复杂光照条件和非正面对位姿态下的泛化能力有多强？
• RQ4 该模型能否在不提供中间分量显式监督的情况下实现逼真光照重演？
• RQ5 与纯漫反射渲染相比，残差校正机制在多大程度上提升了光照重演的保真度？

主要发现

• 该模型在多样化的光照条件和人脸姿态下，均实现了精确且可信的光照重演结果。
• 引入残差校正显著提升了保真度，有效保留了高光和投影阴影等非漫反射效应。
• 该方法在受试者未正对相机的挑战性姿态下仍表现出良好的泛化能力。
• 该模型在21名受试者、每名受试者32个受控光源的受控数据集上表现出稳健性能。
• 端到端训练使模型无需中间监督即可实现精确的去光照和光照重演。
• 将图像分解为漫反射和残差分量，可实现一致且符合物理规律的光照重演结果。