[论文解读] Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination

Alen Joy, Charalambos Poullis|arXiv (Cornell University)|Feb 25, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种端到端方法，用于在自然光照下对复杂、大规模户外场景中的空间变化BRDF进行估计，利用多视角图像实现。通过在两步优化中结合基于最小平方保角映射的可微路径追踪器与新型多视角梯度一致性损失，该方法在重建损失方面相比SOTA方法最高降低50%，并实现了更优的漫反射与镜面反射的解耦。

ABSTRACT

This paper presents a process for estimating the spatially varying surface reflectance of complex scenes observed under natural illumination. In contrast to previous methods, our process is not limited to scenes viewed under controlled lighting conditions but can handle complex indoor and outdoor scenes viewed under arbitrary illumination conditions. An end-to-end process uses a model of the scene's geometry and several images capturing the scene's surfaces from arbitrary viewpoints and under various natural illumination conditions. We develop a differentiable path tracer that leverages least-square conformal mapping for handling multiple disjoint objects appearing in the scene. We follow a two-step optimization process and introduce a multi-view gradient consistency loss which results in up to 30-50% improvement in the image reconstruction loss and can further achieve better disentanglement of the diffuse and specular BRDFs compared to other state-of-the-art. We demonstrate the process in real-world indoor and outdoor scenes from images in the wild and show that we can produce realistic renders consistent with actual images using the estimated reflectance properties. Experiments show that our technique produces realistic results for arbitrary outdoor scenes with complex geometry. The source code is publicly available at: https://gitlab.com/alen.joy/multi-view-gradient-consistency-for-svbrdf-estimation-of-complex-scenes-under-natural-illumination

研究动机与目标

• 在任意自然光照条件下，对大规模、复杂场景中的空间变化BRDF进行估计，克服以往方法依赖受控光照的局限性。
• 实现对具有复杂几何形状的多个分离物体的准确反射率估计，而不仅限于单个合成物体。
• 提升漫反射与镜面反射BRDF分量的解耦，以提高重光照的保真度。
• 在来自真实世界、包括具有挑战性的户外环境的图像中，实现鲁棒的性能。
• 提供一个可重用的、可微的框架，用于逆渲染，并对反射率参数具有显式控制。

提出的方法

• 使用多视角立体重建技术，从自然光照下拍摄的真实世界图像中重建场景几何结构。
• 采用基于最小平方保角映射的可微路径追踪器，以处理具有复杂几何形状的多个分离物体。
• 应用两步优化流程，分别优化漫反射与镜面反射BRDF参数，以实现更好的解耦。
• 引入多视角梯度一致性损失，以最小化各视角间的梯度方差，并强制每一点的梯度方向保持一致。
• 对修改后的Cook-Torrance BRDF进行参数化，以建模空间变化的表面反射特性。
• 通过最小化多视角下的重建误差与梯度一致性组合损失，优化SVBRDF参数。

实验结果

研究问题

• RQ1 在无需受控光照的任意自然光照条件下，是否能有效对大规模、复杂户外场景中的SVBRDF进行估计？
• RQ2 如何通过多视角一致性来提升反射率估计的准确性和鲁棒性？
• RQ3 所提出的可微渲染器在保持优化稳定性的同时，能否有效处理具有复杂几何形状的多个分离物体？
• RQ4 所提出的多视角梯度一致性损失在多大程度上提升了漫反射与镜面反射BRDF分量的解耦？
• RQ5 SVBRDF图的分辨率在多大程度上影响重建的视觉真实感与计算成本？

主要发现

• 与最先进方法相比，该方法在非金属表面场景中，图像重建损失最高降低50%。
• 对于金属表面，该方法将重建损失降低最多10%，表明在具有挑战性的场景中也具有鲁棒性。
• 多视角梯度一致性损失显著提升了漫反射与镜面反射反射率分量的解耦效果。
• 使用新型环境贴图进行重光照时，RMSE最高降低50%，表明在新视角与光照合成方面具有高度保真度。
• 高分辨率SVBRDF图（例如2048²）对于捕捉建筑立面等表面的精细细节（如手绘标记）是必要的。
• 低分辨率图（例如512²）无法保留关键表面细节，而4096²仅带来微小增益，且显著增加计算成本。