[论文解读] Segmentation of Surgical Instruments for Minimally-Invasive Robot-Assisted Procedures Using Generative Deep Neural Networks

Iñigo Azqueta-Gavaldon, Florian A. Fröhlich+2 more|elib (German Aerospace Center)|Jun 5, 2020

Surgical Simulation and Training参考文献 16被引用 4

一句话总结

该论文提出了一种两阶段方法，利用基于CycleGAN的域自适应技术生成逼真的MiroSurge手术器械内窥镜图像，通过在这些增强数据上训练U-Net模型，实现高质量的语义分割。该方法在真实内窥镜图像上实现了88.06%的平均交并比（IoU），并在存在域偏移的情况下，对未见过的da Vinci手术器械展现出有前景的零样本泛化能力。

ABSTRACT

This work proves that semantic segmentation on minimally invasive surgical instruments can be improved by using training data that has been augmented through domain adaptation. The benefit of this method is twofold. Firstly, it suppresses the need of manually labeling thousands of images by transforming synthetic data into realistic-looking data. To achieve this, a CycleGAN model is used, which transforms a source dataset to approximate the domain distribution of a target dataset. Secondly, this newly generated data with perfect labels is utilized to train a semantic segmentation neural network, U-Net. This method shows generalization capabilities on data with variability regarding its rotation- position- and lighting conditions. Nevertheless, one of the caveats of this approach is that the model is unable to generalize well to other surgical instruments with a different shape from the one used for training. This is driven by the lack of a high variance in the geometric distribution of the training data. Future work will focus on making the model more scale-invariant and able to adapt to other types of surgical instruments previously unseen by the training.

研究动机与目标

• 降低机器人辅助微创手术中语义分割任务的手动标注成本与工作量。
• 解决合成训练数据与真实内窥镜图像之间的域差距问题，该问题会阻碍模型的泛化能力。
• 仅通过域自适应增强的合成数据，提升在真实手术器械图像上的分割性能。
• 评估在不同手术系统（da Vinci）上模型的泛化能力，该系统具有不同的器械几何结构和外观特征。

提出的方法

• 在未配对的合成与真实内窥镜图像上训练CycleGAN，将合成的器械渲染图像转换为具有真实内窥镜外观的图像。
• 使用经过域自适应的合成图像训练基于U-Net的语义分割网络，并辅以大量数据增强。
• 通过仔细对齐合成域与真实域之间的姿态和几何分布，提升图像翻译的保真度。
• 在生成的、外观逼真的合成数据集上端到端训练U-Net模型，该数据集配备完美的真实分割掩码。
• 在真实MiroSurge图像和一个保留的da Vinci器械数据集上评估模型的泛化能力，后者包含多种不同类型的器械及每幅图像中多个器械。
• 该方法利用了U-Net强大的特征提取能力和尺度感知设计，未来可集成MultiResUNet或注意力机制。

实验结果

研究问题

• RQ1 通过CycleGAN进行域自适应是否能有效弥合合成与真实内窥镜图像之间手术器械的域差距？
• RQ2 在域自适应增强的合成数据上训练语义分割模型，是否相比在原始合成数据上训练能获得在真实手术器械分割任务上的更优性能？
• RQ3 在一种手术系统（MiroSurge）上训练的模型，能在多大程度上泛化到另一种具有不同器械形状、纹理和颜色的系统（da Vinci）？
• RQ4 在真实场景中，当器械尺度、位置和光照条件发生变化时，模型的性能如何？

主要发现

• 所提出的方法在真实MiroSurge器械内窥镜图像上实现了88.06%的平均交并比（IoU），优于文献中已有的最先进方法。
• 该模型在da Vinci手术系统上展现出强大的零样本泛化能力，尽管器械形状、纹理和颜色存在显著域偏移，仍实现了平均50.28%的IoU。
• 模型在da Vinci器械上的性能显著下降，主要由于几何结构和外观差异，但仍在多个案例中成功检测到大部分器械。
• IoU得分最低的情况始终出现在器械在图像中占据比例过大的图像中，表明模型对尺度变化敏感。
• 该方法通过利用带有完美标签的合成数据并借助CycleGAN转换为逼真外观，成功减少了对手动标注的需求。
• 结果表明，若在da Vinci数据上进行微调，可显著提升模型性能，但因研究范围限制未予实施。