[论文解读] Radiometric Scene Decomposition: Scene Reflectance, Illumination, and Geometry from RGB-D Images

Stephen Lombardi, Ko Nishino|arXiv (Cornell University)|Apr 5, 2016

3D Surveying and Cultural Heritage参考文献 10被引用 3

一句话总结

本文提出了一种新颖的贝叶斯框架，用于从RGB-D图像中进行辐射度场景分解，联合估计空间变化的反射率、自然光照和优化后的几何结构，同时建模多重反射、阴影和漫反射纹理。该方法实现了从新视角的精确外观预测，并通过结构化先验和对真实世界复杂材质与光照场景的迭代优化，实现完整场景理解。

ABSTRACT

Recovering the radiometric properties of a scene (i.e., the reflectance, illumination, and geometry) is a long-sought ability of computer vision that can provide invaluable information for a wide range of applications. Deciphering the radiometric ingredients from the appearance of a real-world scene, as opposed to a single isolated object, is particularly challenging as it generally consists of various objects with different material compositions exhibiting complex reflectance and light interactions that are also part of the illumination. We introduce the first method for radiometric scene decomposition that handles those intricacies. We use RGB-D images to bootstrap geometry recovery and simultaneously recover the complex reflectance and natural illumination while refining the noisy initial geometry and segmenting the scene into different material regions. Most important, we handle real-world scenes consisting of multiple objects of unknown materials, which necessitates the modeling of spatially-varying complex reflectance, natural illumination, texture, interreflection and shadows. We systematically evaluate the effectiveness of our method on synthetic scenes and demonstrate its application to real-world scenes. The results show that rich radiometric information can be recovered from RGB-D images and demonstrate a new role RGB-D sensors can play for general scene understanding tasks.

研究动机与目标

• 解决在复杂材质和光照相互作用的真实世界场景中恢复辐射度属性（反射率、光照和几何结构）的挑战。
• 克服先前方法在单物体场景中假设朗伯反射率和点光源的局限性。
• 在具有多个物体、未知空间变化材质、多重反射、阴影和非朗伯效应的场景中实现鲁棒的分解。
• 不仅将RGB-D数据用于几何重建，更将其作为实现完整辐射度场景理解的基础。
• 开发一种系统化、可微分的框架，支持最大后验概率（MAP）估计，结合有序变量优化与几何精化。

提出的方法

• 通过将各向同性BRDF与漫反射纹理解耦，建模空间变化的反射率，实现复杂表面材质的紧凑表示。
• 使用路径追踪模拟图像形成似然中的间接光照和多重反射，捕捉非局部光传输效应。
• 引入贝叶斯公式化方法与结构化先验，解决反射率、光照与几何结构之间的歧义。
• 在场景表面使用几何基底，通过少量参数精化RGB-D几何中的低频误差。
• 执行有序优化：首先进行场景分割并估计反射率/光照，然后引入纹理，最后进行几何精化。
• 推导后验概率对数的梯度，实现可处理的MAP估计，支持所有辐射度组件的端到端优化。

实验结果

研究问题

• RQ1 RGB-D数据能否用于在复杂材质与光照相互作用的真实世界场景中，联合恢复反射率、光照和几何结构？
• RQ2 如何有效建模空间变化的反射率与漫反射纹理，同时避免过拟合？
• RQ3 在贝叶斯优化框架中，利用路径追踪对多重反射和阴影的模拟与估计能达到何种准确度？
• RQ4 从RGB-D数据中进行几何精化，能否在传感器噪声和过度平滑存在的情况下，提升反射率与光照估计的准确性？
• RQ5 有序优化策略在多大程度上能防止诸如将纹理误建模为镜面高光等伪影？

主要发现

• 该方法在合成场景和真实世界场景中均能实现从新视角的精确外观预测，对几何扰动和复杂光照表现出强鲁棒性。
• 在合成场景中，即使几何结构被人为扰动，该框架仍能以高精度恢复反射率与光照。
• 在真实世界场景中，该方法能正确将镜面反射（如桌面上的反光）识别为材质属性，而非纹理变化，避免误分类。
• 该框架成功将场景分割为材质区域，并在存在传感器噪声和视点有限的情况下，恢复出书本和马克杯上的精细纹理细节。
• 几何精化显著提升了形状准确性，尤其在壶柄等复杂特征上，当在反射率与光照估计之后进行优化时效果更明显。
• 分阶段优化过程有效防止了过拟合——例如，纹理不会错误地建模镜面高光——证明了有序变量更新策略的必要性。