[论文解读] Photometric Stereo in Participating Media Considering Shape-Dependent Forward Scatter

Yuki Fujimura, Masaaki Iiyama+2 more|arXiv (Cornell University)|Apr 9, 2018

Computer Graphics and Visualization Techniques参考文献 19被引用 5

一句话总结

本文提出一种用于雾、浑浊水等参与介质中三维形状重建的光度立体方法，通过使用空间可变的解析核函数对依赖形状的表面-相机前向散射进行建模。通过利用核函数收敛性将大规模密集散射矩阵近似为稀疏矩阵，该方法实现了前向散射的迭代去除，在高度浑浊环境中相比仅考虑后向散射的模型，显著提升了重建精度。

ABSTRACT

Images captured in participating media such as murky water, fog, or smoke are degraded by scattered light. Thus, the use of traditional three-dimensional (3D) reconstruction techniques in such environments is difficult. In this paper, we propose a photometric stereo method for participating media. The proposed method differs from previous studies with respect to modeling shape-dependent forward scatter. In the proposed model, forward scatter is described as an analytical form using lookup tables and is represented by spatially-variant kernels. We also propose an approximation of a large-scale dense matrix as a sparse matrix, which enables the removal of forward scatter. Experiments with real and synthesized data demonstrate that the proposed method improves 3D reconstruction in participating media.

研究动机与目标

• 解决在雾、烟或浑浊水等参与介质中进行三维形状重建的挑战，其中光散射会降低图像质量。
• 对依赖物体局部与全局形状的前向散射进行建模，克服先前方法假设空间不变或平面近似的局限性。
• 在高度浑浊介质中实现有效的前向散射去除，此类介质中传统光度立体方法因图像模糊与信号退化而失效。
• 开发一种稀疏矩阵近似技术，以处理由形状依赖的前向散射引起的移位可变、大规模密集散射矩阵。
• 通过在联合优化框架中迭代细化形状与散射估计，实现高精度的三维重建。

提出的方法

• 该方法使用二维查表来表示单次散射的解析形式，对表面-相机前向散射进行建模，以捕捉形状依赖性。
• 将前向散射表述为空间可变的核矩阵，反映物体几何形状如何改变散射分布。
• 为应对密集核矩阵在计算上的不可行性，该方法利用远距离表面点之间的核函数收敛性，将其近似为稀疏矩阵。
• 采用一种迭代算法，在前向散射去除与三维形状重建之间交替进行，打破形状与散射之间的相互依赖关系。
• 该方法使用八个校准强度的LED光源，通过捕获平均图像以降低噪声，从而为重建提供鲁棒的输入。
• 通过在水箱中注满水的方式完成相机标定，以考虑水箱壁面的折射效应，确保几何精度。

实验结果

研究问题

• RQ1 能否将参与介质中的前向散射准确建模为依赖形状的空间可变现象，而非空间不变的模糊效应？
• RQ2 如何高效地近似表示依赖形状的前向散射所形成的超大规模密集矩阵，以实现实际计算？
• RQ3 在高度浑浊介质中，通过形状与散射的迭代联合优化能否有效去除前向散射？
• RQ4 与仅考虑后向散射的方法相比，建模前向散射是否能提升三维重建的精度？
• RQ5 所提方法在不同浑浊度水平与复杂物体形状下的收敛行为与鲁棒性如何？

主要发现

• 在合成数据上对壳形物体进行测试，所提方法实现了1.29°的平均角度误差，表明重建精度极高。
• 在真实数据中使用120升水中的30毫升牛奶，所提方法将平均角度误差降低至1.30°，显著优于仅考虑后向散射的方法。
• 仅考虑后向散射的方法[22]在球形物体上的平均角度误差为19.48°，而所提方法在五次迭代内收敛至3.66°。
• 即使在高浑浊度（30毫升牛奶）条件下，所提方法仍能成功重建壳形与四足形等复杂物体的精细局部梯度，而仅考虑后向散射的方法则导致形状扁平化。
• 该方法在5次迭代内即实现收敛，表明尽管前向散射具有形状依赖性，其优化过程仍稳定且高效。
• 稀疏矩阵近似技术使原本不可行的密集散射矩阵得以实际计算，从而提升了方法的可扩展性。