[论文解读] OpenIllumination: A Multi-Illumination Dataset for Inverse Rendering Evaluation on Real Objects

Isabella Liu, Linghao Chen+9 more|arXiv (Cornell University)|Sep 14, 2023

Advanced Vision and Imaging被引用 5

一句话总结

本文介绍了OpenIllumination，这是一个多光照数据集，通过配备142个校准LED灯的球形光源装置，在14种不同光照条件下捕捉了64件真实物体。该数据集通过提供真实光照和掩码，实现了对逆渲染方法的定量评估，使用TensoIR在某些材料上实现了高达46.66的PSNR，表现出最先进的重光照性能；同时通过专门的数据采集与校准技术，解决了遮挡和相机一致性等挑战。

ABSTRACT

We introduce OpenIllumination, a real-world dataset containing over 108K images of 64 objects with diverse materials, captured under 72 camera views and a large number of different illuminations. For each image in the dataset, we provide accurate camera parameters, illumination ground truth, and foreground segmentation masks. Our dataset enables the quantitative evaluation of most inverse rendering and material decomposition methods for real objects. We examine several state-of-the-art inverse rendering methods on our dataset and compare their performances. The dataset and code can be found on the project page: https://oppo-us-research.github.io/OpenIllumination.

研究动机与目标

• 为解决在真实物体上评估逆渲染方法时缺乏真实世界多光照数据集的问题。
• 减少在采集过程中由支撑结构引起的神经密度场中的遮挡模糊性。
• 确保在多个相机和光照模式下颜色与光照校准的一致性。
• 通过真实光照和物体掩码，实现重光照性能的定量、可复现评估。
• 为在真实世界材质上比较最先进逆渲染方法提供标准化基准。

提出的方法

• 使用2米球形光源装置（含142个LED灯）和同步多视角相机捕获64件真实物体。
• 在训练中使用组合掩码（com_mask），同时包含物体和支撑结构，以解决遮挡引起的密度模糊性。
• 采用镀铬反光球并配合前景黑色填充与球体拟合，以恢复精确的光照校准参数（半径与中心）。
• 应用NeuS重建反光球并提取已校准的几何信息，以实现精确的光照方向计算。
• 在所有相机中设置一致的参数（ISO 100，F16，1/5秒快门速度，日光白平衡），以最小化固有颜色差异。
• 通过3D打印的绿色圆柱体与偏振片进行相机一致性实验，结果显示相机间颜色差异小于1%。

Figure 1: (a) Two types of supporting devices used in our dataset. (b) We use the combined masks for training to eliminate density ambiguity.

实验结果

研究问题

• RQ1 在训练掩码中包含支撑结构对密度场网络在逆渲染中的性能有何影响？
• RQ2 多光照逆渲染方法在真实物体上对新光照条件的泛化能力如何？
• RQ3 在相同设置下，相同相机之间的颜色响应一致性如何？该一致性是否可用于可靠评估？
• RQ4 表面反射特性（如漫反射与镜面反射）对真实世界逆渲染中重光照质量有何影响？
• RQ5 一个包含真实光照与掩码的标准化、公开可获取数据集，能否实现逆渲染方法的公平且可复现的基准测试？

主要发现

• TensoIR在织物物体上实现平均PSNR为28.00，在蜡质物体上实现43.36的PSNR，表明其在高反射率材料上表现优异。
• 具有漫反射表面的物体（如纸张、织物）在重光照中获得更高的PSNR（如物体60为36.66），而镜面物体（如物体52，头发）PSNR较低（22.51）。
• 相机一致性实验显示相邻相机间颜色差异仅约1%，验证了在无后处理情况下固有差异极小。
• 在训练掩码中引入支撑结构显著减少了密度模糊性，提升了重建稳定性。
• 该数据集通过提供真实光照，实现了可靠的重光照评估，如64种不同材质上PSNR结果的一致性所证明。
• 在蜡质物体（ID 34）上实现了最高的重光照PSNR 46.66，表明其在具有复杂BRDF的材料上表现强劲。

Figure 2: 13 kinds of light patterns in our dataset, shown as an environment map.