[论文解读] Stanford-ORB: A Real-World 3D Object Inverse Rendering Benchmark

Zhengfei Kuang, Yunzhi Zhang+4 more|arXiv (Cornell University)|Oct 24, 2023

Advanced Vision and Imaging被引用 6

一句话总结

Stanford-ORB 是首个面向真实世界 3D 物体逆向渲染的基准数据集，包含 14 个在多样化自然场景中采集的物体，提供真实三维扫描、多视角图像及环境光照数据。该基准支持对几何重建、光照重演和新视角合成的全面评估，结果表明 NVDiffRecMC 通过可微分蒙特卡洛渲染器与基于 DMTet 的形状表征，在所有任务中均达到最先进性能。

ABSTRACT

We introduce Stanford-ORB, a new real-world 3D Object inverse Rendering Benchmark. Recent advances in inverse rendering have enabled a wide range of real-world applications in 3D content generation, moving rapidly from research and commercial use cases to consumer devices. While the results continue to improve, there is no real-world benchmark that can quantitatively assess and compare the performance of various inverse rendering methods. Existing real-world datasets typically only consist of the shape and multi-view images of objects, which are not sufficient for evaluating the quality of material recovery and object relighting. Methods capable of recovering material and lighting often resort to synthetic data for quantitative evaluation, which on the other hand does not guarantee generalization to complex real-world environments. We introduce a new dataset of real-world objects captured under a variety of natural scenes with ground-truth 3D scans, multi-view images, and environment lighting. Using this dataset, we establish the first comprehensive real-world evaluation benchmark for object inverse rendering tasks from in-the-wild scenes, and compare the performance of various existing methods.

研究动机与目标

• 为解决在复杂自然环境中评估逆向渲染方法时缺乏真实世界基准的问题。
• 利用真实世界数据，实现对材质恢复、光照估计与 3D 重建的定量比较。
• 弥合逆向渲染中合成评估与真实世界泛化能力之间的差距。
• 为未来 3D 物体逆向渲染研究提供标准化基准。
• 发布一个数据集，包含 14 个真实世界物体在 7 个真实场景中的真实三维扫描、多视角图像与环境光照数据。

提出的方法

• 作者在 7 个多样化的自然场景中采集了 14 个真实物体，获取多视角图像与高保真三维扫描。
• 通过 HDR 全景图像捕获真实环境光照，以支持精确的光照重演评估。
• 在 NVDiffRecMC 方法中采用可微分蒙特卡洛（MC）渲染器，以提升材质与视角合成的保真度。
• 基准使用 PSNR-H、PSNR-L、SSIM 和 LPIPS 等指标评估方法在光照重演与新视角合成中的表现。
• 采用基于 DMTet 的形状表征，以在几何重建方面超越基于 SDF 或 NeRF 的方法。
• 从影棚拍摄中推导出伪真实反照率图，用于评估材质预测质量。

实验结果

研究问题

• RQ1 现有逆向渲染方法在真实世界、自然场景中的表现，与在合成基准上的表现相比如何？
• RQ2 可微分渲染技术（如蒙特卡洛渲染）对光照重演与视角合成质量有何影响？
• RQ3 获得真实三维扫描与材质先验信息在逆向渲染任务中对性能有何影响？
• RQ4 当前方法在复杂真实世界光照与材质效应下的泛化能力如何？
• RQ5 在真实世界设置中，SDF、NeRF 或 DMTet 哪种形状表征能实现最精确的几何重建？

主要发现

• NVDiffRecMC 在所有任务中表现最佳，新视角合成的 PSNR-H 达到 28.03，LPIPS 为 0.028。
• NVDiffRecMC 在光照重演任务中优于其前代方法 NVDiffRec 及所有基线方法，PSNR-H 达 28.03，SSIM 达 0.982。
• IDR 在几何重建与新视角合成任务中表现最佳，优于 NeRF 及其他基于 NeRF 的方法。
• 具备真实三维扫描与伪材质信息的方法（标记为 †）显著优于无此信息的方法，表明性能差距依然显著。
• 使用可微分蒙特卡洛渲染器显著提升了光照重演与视角合成质量，尤其在复杂光照场景中效果明显。
• 使用影棚拍摄的伪真实反照率图评估反照率预测质量最为准确，NVDiffRecMC 表现最优。