[论文解读] OR-UNet: an Optimized Robust Residual U-Net for Instrument Segmentation in Endoscopic Images

Fabian Isensee, Klaus Maier‐Hein|arXiv (Cornell University)|Apr 27, 2020

Colorectal Cancer Screening and Detection参考文献 6被引用 17

一句话总结

该论文提出 OR-UNet，一种在 Robust-MIS 2019 数据集上从零开始训练的 2D U-Net，其编码器采用残差块并引入深度监督，未使用 ImageNet 预训练。在 5983 幅内窥镜图像的 8 折交叉验证中，该模型取得了 87.41 的平均 Dice 分数（中位数 94.35），表明其在无 ImageNet 预训练或时序数据的情况下，对器械分割仍具有强大性能。

ABSTRACT

Segmentation of endoscopic images is an essential processing step for computer and robotics-assisted interventions. The Robust-MIS challenge provides the largest dataset of annotated endoscopic images to date, with 5983 manually annotated images. Here we describe OR-UNet, our optimized robust residual 2D U-Net for endoscopic image segmentation. As the name implies, the network makes use of residual connections in the encoder. It is trained with the sum of Dice and cross-entropy loss and deep supervision. During training, extensive data augmentation is used to increase the robustness. In an 8-fold cross-validation on the training images, our model achieved a mean (median) Dice score of 87.41 (94.35). We use the eight models from the cross-validation as an ensemble on the test set.

研究动机与目标

• 开发一种鲁棒且准确的分割模型，仅使用 Robust-MIS 2019 数据集对内窥镜图像中的手术器械进行分割。
• 评估在大规模领域特定数据集上从零开始训练是否能超越或匹配使用 ImageNet 预训练编码器的模型。
• 通过深度监督和大规模数据增强，改善梯度流动与泛化能力。
• 评估将二值分割输出作为检测和实例分割基线的可行性，方法是通过连通组件分析实现。

提出的方法

• 模型采用 2D U-Net 架构，编码器使用残差块，解码器使用标准卷积，特征图通道数从 48 增加至 512。
• 残差块遵循原始公式，每个卷积后应用批量归一化和 ReLU 激活函数。
• 通过在解码器多个分辨率上生成分割预测，实现深度监督，每个分辨率对应相应的损失函数。
• 损失函数包括在最高分辨率上的软 Dice 损失与交叉熵损失之和，以及在低分辨率预测中采用适配的 Dice 损失与均方误差损失，且使用软目标真值。
• 训练过程中使用大规模数据增强以提升鲁棒性，所有模型均从随机初始化开始训练，未使用任何 ImageNet 预训练。
• 对于检测和实例分割任务，通过连通组件分析处理二值分割输出，为前景对象分配唯一 ID。

实验结果

研究问题

• RQ1 在不使用 ImageNet 预训练权重的情况下，带有残差连接和深度监督的 U-Net 是否能在内窥镜器械分割任务中实现高性能？
• RQ2 在大规模领域特定数据集上从零开始训练，与使用预训练编码器相比，其分割准确率如何？
• RQ3 深度监督和数据增强在内窥镜图像分割网络中，对鲁棒性与梯度流动的改善程度如何？
• RQ4 能否通过连通组件分析等简单后处理方法，有效复用二值分割结果实现检测与实例分割？
• RQ5 在本设置中，引入前序视频帧的时序信息是否能提升分割性能？

主要发现

• 在训练集的 8 折交叉验证中，模型取得了 87.41 的平均 Dice 分数（中位数 94.35），中位数分数表明其在大多数图像上表现优异。
• Dice 分数分布显示大量图像的分数为 0，主要由于误报或漏检，显著拉低了平均值。
• 94.35 的中位数 Dice 分数表明，模型在大多数情况下表现极佳，尤其在可见器械的图像中。
• 模型在测试集上的表现预计会高于训练集的交叉验证分数，因为测试评估排除了无真实标签的图像。
• 通过在输入通道中堆叠帧以引入时序信息的实验未提升性能，表明当前模型仅依赖单张查询图像已足够。
• 在二值预测结果上应用连通组件分析，为检测与实例分割任务提供了可行基线，尤其考虑到器械重叠频率较低。