[论文解读] U-NetPlus: A Modified Encoder-Decoder U-Net Architecture for Semantic and Instance Segmentation of Surgical Instrument

S. M. Kamrul Hasan, Cristian A. Linte|arXiv (Cornell University)|Feb 24, 2019

Surgical Simulation and Training参考文献 25被引用 17

一句话总结

该论文提出U-NetPlus，一种改进的U-Net架构，用最近邻上采样替代转置卷积，并集成预训练的VGG编码器以提升外科器械分割性能。在MICCAI 2017 EndoVis数据集上，其二值分割DICE达90.20%，器械部件分割达76.26%，优于先前方法，且减少了棋盘纹伪影并实现更快收敛。

ABSTRACT

Conventional therapy approaches limit surgeons' dexterity control due to limited field-of-view. With the advent of robot-assisted surgery, there has been a paradigm shift in medical technology for minimally invasive surgery. However, it is very challenging to track the position of the surgical instruments in a surgical scene, and accurate detection & identification of surgical tools is paramount. Deep learning-based semantic segmentation in frames of surgery videos has the potential to facilitate this task. In this work, we modify the U-Net architecture named U-NetPlus, by introducing a pre-trained encoder and re-design the decoder part, by replacing the transposed convolution operation with an upsampling operation based on nearest-neighbor (NN) interpolation. To further improve performance, we also employ a very fast and flexible data augmentation technique. We trained the framework on 8 x 225 frame sequences of robotic surgical videos, available through the MICCAI 2017 EndoVis Challenge dataset and tested it on 8 x 75 frame and 2 x 300 frame videos. Using our U-NetPlus architecture, we report a 90.20% DICE for binary segmentation, 76.26% DICE for instrument part segmentation, and 46.07% for instrument type (i.e., all instruments) segmentation, outperforming the results of previous techniques implemented and tested on these data.

研究动机与目标

• 解决微创腹腔镜手术中准确且鲁棒的外科器械分割挑战。
• 克服标准U-Net的局限性，如转置卷积引起的棋盘纹伪影以及因随机权重初始化导致的收敛缓慢问题。
• 通过改进的编码器-解码器架构提升器械部件和类型多分类分割性能。
• 通过有效的数据增强和预训练特征提取，提升在有限医学视频数据上的模型泛化能力和训练稳定性。
• 证明使用固定权重的最近邻上采样相比可学习的反卷积层能提升分割精度并减少伪影。

提出的方法

• U-NetPlus架构将解码器中的转置卷积替换为最近邻（NN）插值层，随后接两个3×3卷积层以进行特征精炼。
• 采用预训练的VGG-16或VGG-11编码器初始化编码器路径，实现更快收敛和更优的特征表示。
• 在编码器中应用批量归一化以稳定训练并改善梯度流动。
• 采用一种快速灵活的数据增强技术，以增加训练数据多样性并减少在有限的MICCAI 2017 EndoVis数据集上的过拟合。
• 模型在来自机器人外科视频的8×225帧序列上端到端训练，推理在8×75和2×300帧序列上进行。
• 通过类别激活图（CAM）进行注意力分析，可视化模型在分割过程中关注的位置，证实其在器械部件（如腕部和夹持器）上的定位能力有所提升。

实验结果

研究问题

• RQ1 将转置卷积替换为最近邻上采样是否能减少棋盘纹伪影并提升外科器械分割的质量？
• RQ2 在有限的外科视频数据上，使用预训练的VGG编码器是否能显著提升收敛速度和分割精度？
• RQ3 最近邻上采样与预训练编码器的结合在器械部件和类型多分类分割中的性能表现如何？
• RQ4 快速数据增强策略是否能有效缓解典型外科视频数据集低数据量场景下的过拟合问题？
• RQ5 与标准U-Net和TernausNet相比，所提出的架构是否能在关键器械组件上实现更优的注意力定位？

主要发现

• U-NetPlus在二值外科器械分割上达到90.20%的DICE分数，较先前方法提升0.21%，较原始U-Net提升超过6%。
• 在器械部件分割（轴、腕部、夹持器）中，U-NetPlus达到76.26%的DICE，三类均表现出一致提升。
• U-NetPlus-VGG-11变体在器械类型分割中表现优于U-NetPlus-VGG-16，达到46.07%的DICE，表明模型架构对类别复杂度敏感。
• 定性结果表明，与U-Net、U-Net+NN和TernausNet相比，U-NetPlus生成的分割结果更清晰、更精确，且误报更少。
• 注意力可视化证实，U-NetPlus对器械组件（如腕部和夹持器）的注意力更准确，而基线模型则表现出弥散或不准确的注意力。
• 采用最近邻上采样消除了与转置卷积相关的典型棋盘纹伪影，从而提升了视觉和定量分割质量。