[论文解读] Self-Supervised Generative Adversarial Network for Depth Estimation in Laparoscopic Images

Baoru Huang, Jian-Qing Zheng+5 more|arXiv (Cornell University)|Jul 9, 2021

Advanced Vision and Imaging参考文献 34被引用 4

一句话总结

该论文提出SADepth，一种用于腹腔镜图像深度估计的自监督生成对抗网络，以立体图像对作为输入，通过对抗训练和多尺度监督提升重建质量与泛化能力。该方法在两个公开数据集上实现了最先进性能，且无需真实深度标签。

ABSTRACT

Dense depth estimation and 3D reconstruction of a surgical scene are crucial steps in computer assisted surgery. Recent work has shown that depth estimation from a stereo images pair could be solved with convolutional neural networks. However, most recent depth estimation models were trained on datasets with per-pixel ground truth. Such data is especially rare for laparoscopic imaging, making it hard to apply supervised depth estimation to real surgical applications. To overcome this limitation, we propose SADepth, a new self-supervised depth estimation method based on Generative Adversarial Networks. It consists of an encoder-decoder generator and a discriminator to incorporate geometry constraints during training. Multi-scale outputs from the generator help to solve the local minima caused by the photometric reprojection loss, while the adversarial learning improves the framework generation quality. Extensive experiments on two public datasets show that SADepth outperforms recent state-of-the-art unsupervised methods by a large margin, and reduces the gap between supervised and unsupervised depth estimation in laparoscopic images.

研究动机与目标

• 为解决腹腔镜成像中缺乏逐像素深度真实标签的问题，该问题限制了监督式深度估计的性能。
• 通过利用图像重建作为监督信号的自监督学习，提升无监督深度估计的性能。
• 通过对抗训练提升深度预测的重建质量并减少伪影。
• 在无需微调的情况下，实现跨不同腹腔镜系统和数据集的泛化能力。
• 缩小监督式与无监督深度估计在内窥镜视觉任务中的性能差距。

提出的方法

• 该框架采用基于U-Net的编码器-解码器生成器网络，从立体RGB图像对中预测左、右视差图。
• 重投影采样器通过将预测的视差图映射回原图来计算光度重投影损失。
• 在多个分辨率层级上应用多尺度监督，以缓解局部极小值并改善特征学习。
• 引入视差平滑度损失以正则化预测的视差图，减少噪声。
• 训练判别器网络以区分真实输入图像与生成器重建的图像，从而实现对抗训练。
• 整体训练目标结合了光度重投影损失、视差平滑度损失和对抗损失，实现端到端优化。

实验结果

研究问题

• RQ1 对抗训练是否能提升自监督深度估计中重建图像的质量，特别是在腹腔镜图像中？
• RQ2 多尺度监督在立体深度估计中如何缓解由光度重投影损失引起的部分局部极小值问题？
• RQ3 在无真实标签的情况下，基于自监督生成对抗网络的方法在不同腹腔镜数据集间的泛化能力如何？
• RQ4 尽管缺乏逐像素深度标注，该方法是否能实现与监督方法相当的性能？
• RQ5 对抗学习的引入在低纹理手术场景中，对深度预测和图像重建的保真度有何影响？

主要发现

• 在dVPN数据集上，SADepth的SSIM达到79.6，较Monodepth [9]提升24.7单位，较Monodepth2 [10]提升8.4单位。
• 在SCARED数据集上，SADepth在测试集1上的平均绝对深度误差为17.42 mm，在测试集2上为11.23 mm，优于所有无监督基线方法。
• 该方法显著缩小了无监督与监督深度估计之间的性能差距，在SCARED数据集上结果可与部分监督方法相媲美。
• SADepth在来自不同腹腔镜设备和手术场景的数据集间表现出良好的泛化能力，展现出强鲁棒性。
• 对抗训练显著提升了重建图像的视觉质量，增强了光度一致性并减少了伪影。
• 多尺度监督与视差平滑度损失的结合有效缓解了局部极小值问题，提升了深度图的准确性。