[论文解读] Robustly Removing Deep Sea Lighting Effects for Visual Mapping of Abyssal Plains

Kevin Köser, Yifan Song+3 more|arXiv (Cornell University)|Oct 1, 2021

Robotics and Sensor-Based Localization被引用 5

一句话总结

本文提出了一种无需参数、鲁棒性强的方法，通过利用主要同质的海床区域的统计分析，估计加法性和乘法性光照效应，从而在深海视觉制图中去除光照伪影。该方法无需校准或训练数据即可实现一致的颜色还原，显著提升了图像一致性，使在海渊平原的可靠视觉制图成为可能。

ABSTRACT

The majority of Earth's surface lies deep in the oceans, where no surface light reaches. Robots diving down to great depths must bring light sources that create moving illumination patterns in the darkness, such that the same 3D point appears with different color in each image. On top, scattering and attenuation of light in the water makes images appear foggy and typically blueish, the degradation depending on each pixel's distance to its observed seafloor patch, on the local composition of the water and the relative poses and cones of the light sources. Consequently, visual mapping, including image matching and surface albedo estimation, severely suffers from the effects that co-moving light sources produce, and larger mosaic maps from photos are often dominated by lighting effects that obscure the actual seafloor structure. In this contribution a practical approach to estimating and compensating these lighting effects on predominantly homogeneous, flat seafloor regions, as can be found in the Abyssal plains of our oceans, is presented. The method is essentially parameter-free and intended as a preprocessing step to facilitate visual mapping, but already produces convincing lighting artefact compensation up to a global white balance factor. It does not require to be trained beforehand on huge sets of annotated images, which are not available for the deep sea. Rather, we motivate our work by physical models of light propagation, perform robust statistics-based estimates of additive and multiplicative nuisances that avoid explicit parameters for light, camera, water or scene, discuss the breakdown point of the algorithms and show results on imagery captured by robots in several kilometer water depth.

研究动机与目标

• 解决由于移动光源、散射和衰减导致的深海视觉制图中图像外观不一致的问题。
• 克服物理模型的局限性，这些模型需要对光源、相机或水体参数进行大量校准和先验知识。
• 开发一种对未知光照条件具有鲁棒性的预处理方法，适用于未校准或历史深海影像。
• 通过最小化平坦、同质海床区域中光照引起的颜色变化，实现可靠的图像匹配、SLAM 和三维重建。
• 在不依赖标注训练数据（深海环境中通常不可用）的前提下，实现大规模拼接的近实时性能。

提出的方法

• 将观测图像建模为真实反照率与光照效应的组合，分解为表示散射和衰减的加法和乘法分量。
• 使用稳健统计方法——特别是中位数和中位绝对偏差（MAD）——来估计多个图像中主导海床颜色和光照失真。
• 应用无参数归一化，通过最小化不同视角间重叠海床像素之间的颜色差异，将每幅图像调整至统一的白平衡。
• 从多幅输入图像向后映射拼接像素，计算一致性度量（RMSE），并在重叠区域与类真值一致性进行性能评估。
• 采用稳健的非参数方法，避免显式建模光源几何、相机位姿或水体特性。
• 高效实现该方法，适用于大规模深海影像拼接的近实时处理。

实验结果

研究问题

• RQ1 是否可以在无需预先校准或训练数据的情况下，有效去除深海影像中的光照伪影？
• RQ2 在缺乏光源、相机或水体物理参数的情况下，如何稳健估计加法性和乘法性光照效应？
• RQ3 所提出的方法在大规模海床拼接中，对重叠视图之间的图像一致性改善程度如何？
• RQ4 该方法是否可应用于未校准或历史深海图像序列，以提升视觉制图性能？
• RQ5 该方法对深海环境中图像匹配、SLAM 和三维重建等下游任务有何影响？

主要发现

• 所提方法在图像一致性方面优于现有技术，表现为重叠像素间颜色差异的RMSE更低，尤其在二维拼接中表现显著。
• 与其它方法不同，该方法避免在图像边界产生暗边，这对大规模拼接和回环检测至关重要。
• 即使原始图像表现出强烈的光照变化，该方法仍能保持同一物体在多视角间定性上的一致颜色。
• 该方法在无需任何训练数据的情况下实现显著的一致性提升，适用于历史或未校准的深海影像。
• 该算法运行在近实时性能，适用于大规模视觉制图流程的实际应用。
• 该方法能有效去除大尺度光照伪影，同时保留局部阴影和微地形，为下游处理保持结构保真度。