[论文解读] SLAM Endoscopy enhanced by adversarial depth prediction

Richard J. Chen, Taylor L. Bobrow+3 more|arXiv (Cornell University)|Jun 29, 2019

Colorectal Cancer Screening and Detection参考文献 13被引用 21

一句话总结

该论文提出了一种基于对抗性深度预测的单目内窥镜SLAM系统，利用条件生成对抗网络（cGAN）从RGB内窥镜图像中估计深度。该方法在合成的、经过领域随机化的、逼真的CT渲染结肠图像上进行训练，实现了对模型和离体猪结肠模型的密集3D重建，即使在存在镜面反射和特征稀疏的情况下也能实现鲁棒跟踪。

ABSTRACT

Medical endoscopy remains a challenging application for simultaneous localization and mapping (SLAM) due to the sparsity of image features and size constraints that prevent direct depth-sensing. We present a SLAM approach that incorporates depth predictions made by an adversarially-trained convolutional neural network (CNN) applied to monocular endoscopy images. The depth network is trained with synthetic images of a simple colon model, and then fine-tuned with domain-randomized, photorealistic images rendered from computed tomography measurements of human colons. Each image is paired with an error-free depth map for supervised adversarial learning. Monocular RGB images are then fused with corresponding depth predictions, enabling dense reconstruction and mosaicing as an endoscope is advanced through the gastrointestinal tract. Our preliminary results demonstrate that incorporating monocular depth estimation into a SLAM architecture can enable dense reconstruction of endoscopic scenes.

研究动机与目标

• 解决单目内窥镜SLAM中因特征稀疏和缺乏深度感知而导致的3D重建精度问题。
• 克服传统基于特征的SLAM在内窥镜中因组织均质性、形变和镜面反射带来的局限性。
• 开发一种通过对抗训练实现跨患者特异性纹理和颜色泛化的深度估计方法。
• 仅使用单目RGB视频和预测深度，实现胃肠道的密集surfel重建。
• 提供一种用于拼接内窥镜场景的框架，以提升手术质量指标和病变定位精度。

提出的方法

• 训练一个条件生成对抗网络（cGAN），使用极小化-极大化损失目标，从单目RGB内窥镜图像中预测深度。
• 使用简单结肠模型的合成电影渲染图像作为初始训练数据，并附带真实深度图。
• 在来自人体结肠CT扫描生成的领域随机化、逼真的图像上对深度网络进行微调。
• 结合对抗损失（L_GAN）与L1像素级损失，以提升深度预测的感知真实感和准确性。
• 将预测的深度图与RGB图像融合到ElasticFusion SLAM框架中，实现直接的、密集的surfel重建。
• 采用仅单目相机设置，无需硬件修改，实现在具有挑战性的内窥镜条件下实时、鲁棒的跟踪。

实验结果

研究问题

• RQ1 从单目内窥镜图像中进行对抗性深度预测，是否能提升在特征稀疏、存在镜面反射和可变形环境下的3D重建精度？
• RQ2 领域随机化在提升深度估计网络对真实内窥镜组织的泛化能力方面有多有效？
• RQ3 基于GAN的深度网络在处理胃肠道中组织颜色、纹理和镜面反射变化方面的适应能力如何？
• RQ4 仅使用单目RGB视频和预测深度，能否实现密集surfel重建，而无需立体或深度传感器？
• RQ5 与传统基于特征的SLAM相比，该方法在跟踪稳定性和重建质量方面表现如何？

主要发现

• 所提方法成功实现了对模型结肠的密集3D重建，准确捕捉了袋状褶皱和标记点。
• 在离体猪结肠模型中，系统在光照动态变化和镜面反射条件下仍能成功跟踪并重新着色surfel。
• 通过在微调阶段引入领域随机化，对抗性深度网络对纹理和颜色变化表现出鲁棒性。
• 该框架实现了无需硬件修改的内窥镜视频序列拼接，生成一致的3D表面模型。
• 重建质量在模型和真实组织模型上均通过定性验证，定量验证尚待完成。
• 该方法支持潜在的临床应用，如改善病变定位和评估手术完成度（例如，表面覆盖面积）。