[论文解读] SLAM based Quasi Dense Reconstruction For Minimally Invasive Surgery Scenes

Nader Mahmoud, Alexandre Hostettler+4 more|arXiv (Cornell University)|May 25, 2017

Robotics and Sensor-Based Localization参考文献 18被引用 33

一句话总结

本文提出了一种基于单目内窥镜和SLAM的稀疏映射的准密集3D重建方法，用于微创腹腔镜手术场景。通过在初始探索阶段利用关键帧对并应用基于相关性的无特征块匹配方法，该方法以极低的计算开销将稀疏的ORB-SLAM地图稠密化，在猪实验中与CT真实值配准后，实现了4.9mm的均方根误差。

ABSTRACT

Recovering surgical scene structure in laparoscope surgery is crucial step for surgical guidance and augmented reality applications. In this paper, a quasi dense reconstruction algorithm of surgical scene is proposed. This is based on a state-of-the-art SLAM system, and is exploiting the initial exploration phase that is typically performed by the surgeon at the beginning of the surgery. We show how to convert the sparse SLAM map to a quasi dense scene reconstruction, using pairs of keyframe images and correlation-based featureless patch matching. We have validated the approach with a live porcine experiment using Computed Tomography as ground truth, yielding a Root Mean Squared Error of 4.9mm.

研究动机与目标

• 在无需外部跟踪或人工标记的情况下，实现实时、精确的微创腹腔镜手术3D场景重建。
• 克服基于特征的SLAM系统在纹理缺失或对比度低的区域（如手术组织中常见）失效的局限性，这些区域通常导致稀疏地图。
• 仅使用单目腹腔镜，在探索阶段后对稀疏SLAM地图进行稠密化处理，实现准密集重建。
• 支持术前CT/MRI与术中腹腔镜视图之间的精确跨模态配准，以实现增强现实导航。
• 通过将密集重建任务移至后处理阶段，同时保持快速SLAM跟踪，从而确保实时性能。

提出的方法

• 在外科医生初始探索阶段使用ORB-SLAM生成稀疏3D地图，假设该阶段为刚性且无器械干扰。
• 基于共视图图中的基线选择关键帧对，将其视为立体对以进行深度估计。
• 基于特征的稠密化方法通过立体对的三角测量识别并重建未匹配的ORB特征。
• 使用归一化互相关（NCC）匹配关键帧对之间的无特征块，实现在低纹理和同质区域的深度估计。
• 通过移动最小二乘（MLS）去噪和基于RANSAC的滤波进行异常值去除与表面平滑处理。
• 最终的准密集重建通过Horn算法与术前CT对齐，并经ICP精化以评估精度。

实验结果

研究问题

• RQ1 单目SLAM系统能否扩展为生成适用于手术增强现实应用的准密集3D重建？
• RQ2 在腹腔镜图像中常见的软组织区域（缺乏纹理）中，如何在不依赖纹理的情况下有效实现稠密化？
• RQ3 能否在不损害实时跟踪性能的前提下，高效地在SLAM之后执行密集重建？
• RQ4 当将重建的腹腔镜场景与术前CT数据配准时，可达到何种几何精度水平？
• RQ5 该方法在内窥镜成像中常见的光照变化和镜面反射条件下是否具有鲁棒性？

主要发现

• 在活体猪实验中，将准密集重建结果与术前CT模型配准时，该方法实现了4.9mm的均方根误差（RMSE）。
• 85%的重建点到CT表面的距离低于6.7mm，表明整体几何保真度较高。
• 在总共348,068个重建点中，15%被分类为异常值，主要由于呼吸引起的非刚性腹壁变形，限制了准确重投影。
• 在将误差低于6.7mm的点视为内点后，RMSE降低至2.8mm，表明重建的大部分区域具有高精度。
• 实时运行期间的平均跟踪时间保持在每帧25ms，证实通过将密集重建移至后处理阶段，实时性能得以保持。
• 使用归一化互相关（NCC）在显著光照变化条件下实现了鲁棒匹配，相较于其他无特征匹配方法具有显著优势。