[论文解读] Self-Supervised Siamese Learning on Stereo Image Pairs for Depth Estimation in Robotic Surgery

Menglong Ye, Edward Johns+4 more|arXiv (Cornell University)|May 17, 2017

Advanced Vision and Imaging被引用 13

一句话总结

本文提出了一种基于立体图像对的自监督孪生学习框架，用于在无需真实深度标注的情况下估计机器人手术中的深度。通过利用可微分空间变换器和基于自编码器的网络，该方法在机器人部分肾切除术的立体视频数据上进行训练，实现了对达芬奇手术系统中增强现实集成至关重要的精确深度预测。

ABSTRACT

Robotic surgery has become a powerful tool for performing minimally invasive procedures, providing advantages in dexterity, precision, and 3D vision, over traditional surgery. One popular robotic system is the da Vinci surgical platform, which allows preoperative information to be incorporated into live procedures using Augmented Reality (AR). Scene depth estimation is a prerequisite for AR, as accurate registration requires 3D correspondences between preoperative and intraoperative organ models. In the past decade, there has been much progress on depth estimation for surgical scenes, such as using monocular or binocular laparoscopes [1,2]. More recently, advances in deep learning have enabled depth estimation via Convolutional Neural Networks (CNNs) [3], but training requires a large image dataset with ground truth depths. Inspired by [4], we propose a deep learning framework for surgical scene depth estimation using self-supervision for scalable data acquisition. Our framework consists of an autoencoder for depth prediction, and a differentiable spatial transformer for training the autoencoder on stereo image pairs without ground truth depths. Validation was conducted on stereo videos collected in robotic partial nephrectomy.

研究动机与目标

• 为了解决在机器人手术中获取大规模深度标注的挑战，这些标注的收集成本高且耗时长。
• 通过自监督学习实现在微创机器人手术中的可扩展深度估计。
• 开发一种利用立体图像对但无需真实深度标注进行训练的框架。
• 通过提供精确的深度图，支持增强现实应用中的精确3D配准，用于术中器官模型。

提出的方法

• 使用孪生卷积神经网络架构并行处理左右立体图像。
• 基于自编码器的网络通过特征提取与优化，从立体输入中预测深度图。
• 集成可微分空间变换层以执行图像扭曲，从而实现光度一致性损失的计算。
• 通过光度一致性损失在扭曲图像与目标图像之间进行自监督训练，消除了对真实深度标注的需求。
• 损失函数基于扭曲后的左图像与右图像之间的重建误差，最小化像素级差异。
• 在机器人部分肾切除术过程中采集的立体视频序列上进行端到端训练。

实验结果

研究问题

• RQ1 自监督学习能否在无标注深度标签的情况下有效训练机器人手术中的深度估计网络？
• RQ2 带有可微分空间变换器的孪生网络在真实手术立体视频数据上的泛化能力如何？
• RQ3 仅依靠光度一致性损失在内窥镜手术场景中能在多大程度上实现精确的深度预测？
• RQ4 所提出的框架能否支持达芬奇手术系统中增强现实的实时深度估计？
• RQ5 与监督基线相比，该模型在未见的手术视频序列上的表现如何？

主要发现

• 所提出的自监督框架在无真实深度标注的情况下，仍能在机器人部分肾切除术的立体视频数据上实现具有竞争力的深度估计性能。
• 使用可微分空间变换器通过光度一致性实现了有效的监督，减少了对标注数据的依赖。
• 该方法在腹腔镜内窥镜场景中常见的光照变化和组织外观差异下表现出鲁棒性。
• 该框架能够实现适用于机器人手术增强现实应用中3D配准的精确深度预测。
• 在真实手术视频序列上的验证证实了在临床环境中实现可扩展、无标注的深度估计的可行性。