[论文解读] Semihierarchical Reconstruction and Weak-area Revisiting for Robotic Visual Seafloor Mapping

Mengkun She, Yifan Song+2 more|arXiv (Cornell University)|Aug 11, 2023

Underwater Vehicles and Communication Systems参考文献 54被引用 4

一句话总结

本文提出了一种半层次重建与弱区域重访框架，用于利用AUV采集的视觉数据实现鲁棒、大规模的海底三维制图。通过结合SLAM与运动恢复结构（SfM）技术，并辅以色彩归一化及对约束不足区域的迭代重访，该系统在复杂水下光照与成像条件下仍能实现几何一致的重建，显著提升了位姿图连通性与重建质量。

ABSTRACT

Despite impressive results achieved by many on-land visual mapping algorithms in the recent decades, transferring these methods from land to the deep sea remains a challenge due to harsh environmental conditions. Images captured by autonomous underwater vehicles (AUVs), equipped with high-resolution cameras and artificial illumination systems, often suffer from heterogeneous illumination and quality degradation caused by attenuation and scattering, on top of refraction of light rays. These challenges often result in the failure of on-land SLAM approaches when applied underwater or cause SfM approaches to exhibit drifting or omit challenging images. Consequently, this leads to gaps, jumps, or weakly reconstructed areas. In this work, we present a navigation-aided hierarchical reconstruction approach to facilitate the automated robotic 3D reconstruction of hectares of seafloor. Our hierarchical approach combines the advantages of SLAM and global SfM that is much more efficient than incremental SfM, while ensuring the completeness and consistency of the global map. This is achieved through identifying and revisiting problematic or weakly reconstructed areas, avoiding to omit images and making better use of limited dive time. The proposed system has been extensively tested and evaluated during several research cruises, demonstrating its robustness and practicality in real-world conditions.

研究动机与目标

• 解决由于光照不均匀、光衰减与散射导致的深海视觉制图中不一致且不完整的三维重建问题。
• 提升视觉制图系统在标准陆地SLAM与SfM方法失效或发散的水下环境中的鲁棒性。
• 开发一种高效、自动化的流程，在AUV下潜时间有限的情况下，通过识别并重访注册较弱的区域，最大化图像利用率。
• 通过色彩归一化与混合SLAM-SfM处理，提升特征匹配与位姿图一致性。
• 生成适合科学与生态分析的高分辨率、几何精确的大型海底区域三维重建模型。

提出的方法

• 系统采用混合SLAM与运动恢复结构（SfM）流程，在速度与精度之间取得平衡，利用关键帧跟踪与增量式优化。
• 应用色彩归一化以减少共置人工光源引起的光照不一致性，提升特征对应关系的可靠性。
• 采用半层次重建策略，将制图过程按细节层级组织，实现对大规模数据集的高效处理。
• 通过弱区域检测识别出相对位姿约束不足的图像，触发针对性重访，以提升连通性并减少重建间隙。
• 在重访后对位姿图进行迭代优化，确保整个重建过程中的一致性提升与漂移减少。
• 在原始图像与归一化图像上均使用OpenMVS执行密集多视图立体匹配与网格化，生成高分辨率的纹理三维模型。

实验结果

研究问题

• RQ1 如何使视觉制图系统对深海环境中非均匀光照与辐射退化具有更强鲁棒性？
• RQ2 色彩归一化在水下视觉重建中在多大程度上提升了特征匹配与位姿图连通性？
• RQ3 混合SLAM-SfM方法是否能在保持相近重建精度的同时，实现比增量式SfM更快的处理速度？
• RQ4 弱区域重访在恢复本应被遗漏或注册不良的图像方面效果如何？
• RQ5 图像预处理与重建流程设计对大规模海底三维模型最终质量有何影响？

主要发现

• 色彩归一化显著提升了视图图连通性，尤其是在侧向轨迹之间，通过减少光照不一致性实现。
• 使用色彩归一化图像后，SIFT特征匹配更加可靠，视图图中匹配密度的提升可作为证据。
• 弱区域重访成功消除了所有约束不足的区域，位姿图鲁棒性提升达100%。
• 最终的三维重建模型对光照效应表现出明显补偿，生成了视觉一致且细节丰富的网格。
• 该系统在多种数据集上均实现了高分辨率、几何精确的海底模型，包括具有挑战性的复杂场景。
• 混合SLAM-SfM方法的运行速度显著快于增量式SfM，同时保持了相近的重建质量。