[论文解读] Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme

Alexandre Pierre Dherse, Martin Everaert+1 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Vision and Imaging参考文献 27被引用 8

一句话总结

该论文提出了一种用于场景重布光的潜在空间编码器-解码器框架，通过从目标图像中估计光照条件并将其转移到输入图像，实现在无需显式光照标注的情况下进行逼真的重布光。该方法在色温一致性和基础阴影转移方面有所改进，但真实感和阴影重建的准确性仍存在局限，尤其是在未见过的场景中。

ABSTRACT

The image relighting task of transferring illumination conditions between two images offers an interesting and difficult challenge with potential applications in photography, cinematography and computer graphics. In this report we present methods that we tried to achieve that goal. Our models are trained on a rendered dataset of artificial locations with varied scene content, light source location and color temperature. With this dataset, we used a network with illumination estimation component aiming to infer and replace light conditions in the latent space representation of the concerned scenes.

研究动机与目标

• 开发一种可泛化的图像重布光方法，能够在无需多幅输入或显式光照标注的情况下，将目标图像的光照条件转移到输入图像。
• 实现在目标图像潜在空间表征中直接进行自动光照估计，避免手动指定光源。
• 在潜在空间中解耦场景内容与光照信息，以实现输入场景与目标光照的灵活重组。
• 在包含多样化光照条件与场景内容的人工渲染数据集（VIDIT）上评估模型性能。
• 识别在真实感与阴影重建方面的局限性，特别是在暗部区域，并为未来工作提出改进建议。

提出的方法

• 模型采用共享的编码器-解码器架构处理输入图像与目标图像，提取场景与光照的潜在表征。
• 通过全连接网络或潜在空间中的环境图预测实现光照估计，支持解耦的光照表征。
• 在潜在空间中将输入图像的场景特征与目标图像的光照特征结合后再进行解码。
• 网络通过重建损失与感知损失（LPIPS）的组合进行训练，并对Envmap + 场景模型额外优化以最小化LPIPS。
• 使用跳跃连接以在解码过程中保留空间细节，同时考虑使用PixelShuffle替代转置卷积以减少棋盘格伪影。
• 建议未来通过条件GAN或感知相对GAN提升真实感与重布光图像的一致性。

实验结果

研究问题

• RQ1 基于单张图像的重布光方法是否能在潜在空间中有效估计并转移目标图像的光照条件至输入图像？
• RQ2 对场景与光照进行解耦的潜在表征在多大程度上能提升重布光质量与在多样化场景中的泛化能力？
• RQ3 为何模型在阴影与深暗区域的重建效果不佳，这如何影响真实感？
• RQ4 与需要显式光照输入或同一场景多视角输入的方法相比，自动光照估计的性能如何？
• RQ5 如何改进以增强重布光图像的真实感与一致性，特别是在强阴影区域？

主要发现

• Envmap + 场景模型的LPIPS得分最高（0.2564），表明其与真实值的感知相似性更优，尽管该模型专门针对此指标进行了优化。
• 光照预测模型的SSIM得分最高（0.3365），表明其在图像内容结构保持方面表现更佳。
• 信噪比（SNR）值相对较低（18.11–18.66 dB），表明在暗部区域信号与噪声性能有限。
• 模型在色温转移方面表现良好，但在准确实现方向性光照变化方面存在困难，尤其是在阴影区域。
• 网络常会移除深阴影区域，并以均匀颜色替代，表明其在暗部区域缺乏对合理内容的“想象”能力。
• 在未见过的场景上泛化能力有限，验证集性能相比训练集显著下降，表明零样本迁移能力较差。