[论文解读] SD-DefSLAM: Semi-Direct Monocular SLAM for Deformable and Intracorporeal Scenes

Juan J. Gómez Rodríguez, José Lamarca+3 more|arXiv (Cornell University)|Oct 19, 2020

Robotics and Sensor-Based Localization参考文献 30被引用 4

一句话总结

SD-DefSLAM 是一种专为高度形变且处于体内的环境设计的半直接单目 SLAM 系统，结合了光照不变的光度跟踪、基于 CNN 的手术器械分割以及词袋重定位技术。该系统显著减少了尺度漂移，并在重建精度方面优于 DefSLAM，成为首个在极端形变和纹理匮乏条件下于人体内部实现鲁棒 SLAM 的系统。

ABSTRACT

Conventional SLAM techniques strongly rely on scene rigidity to solve data association, ignoring dynamic parts of the scene. In this work we present Semi-Direct DefSLAM (SD-DefSLAM), a novel monocular deformable SLAM method able to map highly deforming environments, built on top of DefSLAM. To robustly solve data association in challenging deforming scenes, SD-DefSLAM combines direct and indirect methods: an enhanced illumination-invariant Lucas-Kanade tracker for data association, geometric Bundle Adjustment for pose and deformable map estimation, and bag-of-words based on feature descriptors for camera relocation. Dynamic objects are detected and segmented-out using a CNN trained for the specific application domain. We thoroughly evaluate our system in two public datasets. The mandala dataset is a SLAM benchmark with increasingly aggressive deformations. The Hamlyn dataset contains intracorporeal sequences that pose serious real-life challenges beyond deformation like weak texture, specular reflections, surgical tools and occlusions. Our results show that SD-DefSLAM outperforms DefSLAM in point tracking, reconstruction accuracy and scale drift thanks to the improvement in all the data association steps, being the first system able to robustly perform SLAM inside the human body.

研究动机与目标

• 解决传统 SLAM 在微创手术中高度形变体内环境下的局限性。
• 通过在等距形变条件下实现精确的数据关联与 3D 地图估计，克服 SLAM 中的刚性假设。
• 提升对弱纹理、镜面反射、遮挡以及内镜序列中动态手术器械的鲁棒性。
• 通过集成重定位与动态物体分割，处理跟踪失败问题并维持长期一致性。
• 开发一种半直接方法，结合直接光度优化与间接基于特征的跟踪，以增强数据关联性能。

提出的方法

• 使用每特征的光照不变 Lucas-Kanade 光流实现亚像素级光度数据关联，替代全局图像对齐。
• 应用几何 Bundle Adjustment 联合优化相机位姿与形变 3D 地图，最小化重投影误差与光度误差。
• 采用 ORB 特征实现长期数据关联与词袋重定位，以恢复完全相机遮挡后的状态。
• 集成在手术器械分割数据集上训练的 CNN，用于屏蔽动态物体，防止其污染地图。
• 在帧间主动跟踪特征块，消除匹配阶段对特征提取的依赖。
• 假设 3D 地图中存在等距形变，将随时间变化的特征点位置建模为平滑的非刚性变换。

实验结果

研究问题

• RQ1 半直接 SLAM 系统是否能在传统刚性 SLAM 失效的高度形变、低纹理体内场景中实现鲁棒的数据关联？
• RQ2 在形变条件下，基于特征的光照不变光度跟踪与传统特征匹配相比，在跟踪精度与鲁棒性方面表现如何？
• RQ3 基于 CNN 的手术器械分割在存在动态物体的内镜序列中，对 SLAM 性能的提升程度如何？
• RQ4 在实时内镜序列中，结合词袋与 ORB 描述符的重定位是否能成功恢复完全遮挡后的跟踪？
• RQ5 将直接光度优化与间接特征跟踪相结合，是否能降低非刚性环境中的尺度漂移并提高重建精度？

主要发现

• 在 Mandala 和 Hamlyn 数据集的所有序列中，SD-DefSLAM 的尺度漂移显著低于 DefSLAM，且 RMSE 更优。
• 在 Mandala3 序列中，SD-DefSLAM 的正确匹配地图点比例是 DefSLAM 的两倍，显著提升了数据关联的鲁棒性。
• 在纹理稀疏且模糊的 Hamlyn Dataset20 中，SD-DefSLAM 凭借亚像素级光度跟踪保持了优越性能。
• 在 Sequence_heart 和 Sequence_organs 中集成基于 CNN 的器械分割后，系统能够稳健处理高动态物体干扰的序列。
• 在 Dataset19 和 Dataset20 中，系统成功在完全遮挡或内镜移除后实现重定位。
• 3D 重建结果准确地建模了由手术器械引起的形变，如 Sequence_organs 中第 #315、#1010、#1030 和 #1055 帧所示。