[论文解读] SERV-CT: A disparity dataset from CT for validation of endoscopic 3D reconstruction

Philip Edwards, Dimitrios Psychogyios+3 more|arXiv (Cornell University)|Dec 22, 2020

Anatomy and Medical Technology参考文献 27被引用 6

一句话总结

本论文提出 SERV-CT，一个基于离体猪尸 CT 扫描的新型内窥镜立体视觉验证数据集，可实现外科三维重建中精确的视差与深度估计。通过手动将内窥镜视图对齐至 CT 生成的几何结构，该数据集实现了约 2 像素的均方根视差精度和约 2 毫米的深度精度，为微创手术中具有挑战性组织特性与深度变化的立体算法提供了真实可靠的基准。

ABSTRACT

In computer vision, reference datasets have been highly successful in promoting algorithmic development in stereo reconstruction. Surgical scenes gives rise to specific problems, including the lack of clear corner features, highly specular surfaces and the presence of blood and smoke. Publicly available datasets have been produced using CT and either phantom images or biological tissue samples covering a relatively small region of the endoscope field-of-view. We present a stereo-endoscopic reconstruction validation dataset based on CT (SERV-CT). Two {\it ex vivo} small porcine full torso cadavers were placed within the view of the endoscope with both the endoscope and target anatomy visible in the CT scan. Orientation of the endoscope was manually aligned to the stereoscopic view. Reference disparities and occlusions were calculated for 8 stereo pairs from each sample. For the second sample an RGB surface was acquired to aid alignment of smooth, featureless surfaces. Repeated manual alignments showed an RMS disparity accuracy of ~2 pixels and a depth accuracy of ~2mm. The reference dataset includes endoscope image pairs with corresponding calibration, disparities, depths and occlusions covering the majority of the endoscopic image and a range of tissue types. Smooth specular surfaces and images with significant variation of depth are included. We assessed the performance of various stereo algorithms from online available repositories. There is a significant variation between algorithms, highlighting some of the challenges of surgical endoscopic images. The SERV-CT dataset provides an easy to use stereoscopic validation for surgical applications with smooth reference disparities and depths with coverage over the majority of the endoscopic images. This complements existing resources well and we hope will aid the development of surgical endoscopic anatomical reconstruction algorithms.

研究动机与目标

• 解决微创外科内窥镜三维重建领域缺乏高保真度、公开可用的立体视觉验证数据集的问题。
• 利用 CT 扫描开发一个参考数据集，以生成精确的视差与深度，模拟真实的外科内窥镜场景。
• 在包含镜面反射表面、遮挡和深度变化等临床相关条件的背景下，实现立体重建算法的可重复评估。
• 为在存在血液、烟雾和低纹理等外科成像挑战时评估立体算法提供标准化基准。
• 支持鲁棒的三维重建与外科导航系统的发展，尤其适用于机器人和增强现实应用。

提出的方法

• 获取离体猪尸的立体内窥镜图像对及其对应的 CT 扫描，确保内窥镜与解剖结构可见。
• 基于 CT 体积中已知的内窥镜位置与方向，将内窥镜视图手动对齐至 CT 生成的三维几何结构。
• 使用基于 OpenGL 的渲染技术，从对齐后的三维模型计算深度图，进而推导出视差图。
• 生成覆盖内窥镜图像视场大部分区域的参考视差图、深度图与遮挡图。
• 引入 RGB 表面扫描以处理无特征、镜面区域，提升对齐精度。
• 通过多个开源立体算法对数据集进行验证，实现完整参数与模型权重共享，以确保可重复性。

实验结果

研究问题

• RQ1 基于 CT 的方法能否为离体外科场景中的内窥镜立体重建生成可靠且高精度的视差图与深度图？
• RQ2 将内窥镜视图手动对齐至 CT 几何结构，对视差与深度估计的精度有何影响？
• RQ3 在具有镜面反射与低纹理等真实外科挑战的数据集中，最先进立体算法的性能表现如何？
• RQ4 SERV-CT 能否作为评估和比较微创外科中立体重建算法的稳健基准？
• RQ5 当前立体算法在面对显著深度变化与遮挡的内窥镜图像时存在哪些局限性？

主要发现

• 手动对齐过程实现了约 2 像素的均方根视差精度与约 2 毫米的深度精度，证明了极高的精度水平。
• 每个离体样本包含 8 对立体图像，覆盖多种组织类型，包括光滑与镜面表面，且具有显著的深度变化。
• 性能评估显示不同立体算法间表现差异显著，凸显了外科内窥镜重建的难度。
• 在真实户外数据集上表现最佳的算法在本研究中也展现出应用于外科场景的潜力，表明具有良好的可迁移性。
• 该数据集已公开发布，包含完整的标定信息、视差图、深度图与遮挡图，支持可重复的基准测试。
• 尽管存在达芬奇内窥镜图像分辨率较低与色彩失衡等局限性，该数据集仍为训练与验证提供了宝贵的参考。