[论文解读] Polarimetric Inverse Rendering for Transparent Shapes Reconstruction

Mingqi Shao, Chongkun Xia+2 more|arXiv (Cornell University)|Aug 25, 2022

Optical Polarization and Ellipsometry被引用 7

一句话总结

本文提出了一种偏振逆渲染框架，利用偏振线索和基于反射比例的加权损失，从多视角偏振图像中重建透明物体的详细三维形状。通过将可微分的偏振渲染器与光线追踪的反射权重相结合，该方法提升了重建精度并减少了过度平滑问题，在新创建的透明物体偏振数据集上实现了最先进性能。

ABSTRACT

In this work, we propose a novel method for the detailed reconstruction of transparent objects by exploiting polarimetric cues. Most of the existing methods usually lack sufficient constraints and suffer from the over-smooth problem. Hence, we introduce polarization information as a complementary cue. We implicitly represent the object's geometry as a neural network, while the polarization render is capable of rendering the object's polarization images from the given shape and illumination configuration. Direct comparison of the rendered polarization images to the real-world captured images will have additional errors due to the transmission in the transparent object. To address this issue, the concept of reflection percentage which represents the proportion of the reflection component is introduced. The reflection percentage is calculated by a ray tracer and then used for weighting the polarization loss. We build a polarization dataset for multi-view transparent shapes reconstruction to verify our method. The experimental results show that our method is capable of recovering detailed shapes and improving the reconstruction quality of transparent objects. Our dataset and code will be publicly available at https://github.com/shaomq2187/TransPIR.

研究动机与目标

• 解决仅使用RGB或深度数据进行透明三维形状恢复时出现的过度平滑重建问题。
• 利用偏振信息作为互补线索，增强透明物体重建中的几何细节。
• 开发一种可微分的偏振渲染流程，以考虑透明材料中的光透射效应。
• 构建首个用于透明形状重建的多视角偏振数据集，以支持基准测试。
• 通过基于每个表面点反射光比例的加权偏振损失，提升重建质量。

提出的方法

• 使用神经隐式函数（MLP）隐式表示物体几何，并通过可微分渲染进行训练。
• 可微分的偏振渲染器从隐式形状和光照配置生成合成偏振图像。
• 通过光线追踪计算反射比例（即每个表面点的反射光比例），并用作偏振损失的权重。
• 将加权偏振损失与符号距离函数（SDF）损失结合，以确保表面几何的平滑与真实感。
• 使用真实透明物体拍摄的多视角偏振图像，端到端优化完整损失函数。
• 收集并发布了包含复杂透明形状的新型多视角偏振数据集，同时公开代码。

实验结果

研究问题

• RQ1 与仅使用RGB的方法相比，偏振线索是否能有效提升透明三维形状的重建质量？
• RQ2 反射比例在透明材料中对基于偏振的形状优化可靠性有何影响？
• RQ3 所提出的加权偏振损失在多大程度上减少了透明形状重建中的过度平滑问题？
• RQ4 结合光线追踪反射权重的可微分偏振渲染器是否能优于标准光度一致性方法在透明物体上的表现？
• RQ5 视图数量如何影响所提出的偏振逆渲染框架的性能？

主要发现

• 在完整的34视角数据集上，所提方法的Chamfer距离（CD）为8.97，显著优于无偏振线索的IDR方法（CD：9.82）。
• 消融实验表明，若移除偏振损失，CD增加0.85，CDN增加234.74，证实其在细节恢复中的关键作用。
• 若排除SDF损失，则出现明显孔洞和轮廓伪影，CDN上升至1788.01，表明其对表面平滑性的重要性。
• 若移除反射比例权重，折叠区域会出现误导性优化，CD升至9.51，CDN升至1017.79，证明其在可靠使用偏振信息中的必要性。
• 即使仅有10个视角，该方法仍优于标准IDR，CD为9.89 vs. 11.75，显示出对有限视角的鲁棒性。
• 定性结果与消融研究表明，该方法能成功重建具有精细几何细节的复杂不规则透明形状。