[论文解读] U-Net Based Architecture for an Improved Multiresolution Segmentation in Medical Images

Simindokht Jahangard, Mohammad Hossein Zangooei+1 more|arXiv (Cornell University)|Jul 16, 2020

AI in cancer detection参考文献 20被引用 7

一句话总结

该论文提出 mrU-Net，一种改进的 U-Net 架构，通过将原始图像及其下采样版本作为独立卷积流的输入，提升了多分辨率医学图像分割性能。该模型在皮肤病变、LUNA、DRIVE 和 PROMISE12 数据集上的 Dice 分数分别达到 70.6%、97.9%、73.6% 和 77.9%，在四个数据集中的三个上实现了比标准 U-Net 更快的训练速度和更高的准确性。

ABSTRACT

Purpose: Manual medical image segmentation is an exhausting and time-consuming task along with high inter-observer variability. In this study, our objective is to improve the multi-resolution image segmentation performance of U-Net architecture. Approach: We have proposed a fully convolutional neural network for image segmentation in a multi-resolution framework. We used U-Net as the base architecture and modified that to improve its image segmentation performance. In the proposed architecture (mrU-Net), the input image and its down-sampled versions were used as the network inputs. We added more convolution layers to extract features directly from the down-sampled images. We trained and tested the network on four different medical datasets, including skin lesion photos, lung computed tomography (CT) images (LUNA dataset), retina images (DRIVE dataset), and prostate magnetic resonance (MR) images (PROMISE12 dataset). We compared the performance of mrU-Net to U-Net under similar training and testing conditions. Results: Comparing the results to manual segmentation labels, mrU-Net achieved average Dice similarity coefficients of 70.6%, 97.9%, 73.6%, and 77.9% for the skin lesion, LUNA, DRIVE, and PROMISE12 segmentation, respectively. For the skin lesion, LUNA, and DRIVE datasets, mrU-Net outperformed U-Net with significantly higher accuracy and for the PROMISE12 dataset, both networks achieved similar accuracy. Furthermore, using mrU-Net led to a faster training rate on LUNA and DRIVE datasets when compared to U-Net. Conclusions: The striking feature of the proposed architecture is its higher capability in extracting image-derived features compared to U-Net. mrU-Net illustrated a faster training rate and slightly more accurate image segmentation compared to U-Net.

研究动机与目标

• 解决人工医学图像分割中存在的高时间成本和观察者间差异性问题。
• 提升 U-Net 在多分辨率图像分割任务中的性能。
• 通过引入下采样图像分辨率作为额外输入，增强特征提取能力。
• 在保持或提升分割准确率的同时，减少跨多种医学影像模态的训练时间。
• 在多个公开医学图像数据集上评估所提出的架构，以确保其在不同模态间的泛化能力。

提出的方法

• 提出 mrU-Net，一种全卷积神经网络，可并行处理原始图像及其下采样版本。
• 引入额外的卷积层，直接从下采样图像中提取特征，丰富多尺度表征。
• 采用编码器到解码器的跳跃连接，如标准 U-Net 所示，但将特征融合扩展至多个分辨率输入。
• 使用二元交叉熵损失函数并配合 Sigmoid 激活函数，端到端训练网络以实现像素级分割。
• 应用数据增强和归一化技术，以提升模型在不同数据集间的泛化能力。
• 在 U-Net 和 mrU-Net 之间采用相同的训练和测试协议，以确保公平比较。

实验结果

研究问题

• RQ1 与标准 U-Net 相比，引入多分辨率输入是否能提升医学图像分析中的分割准确率？
• RQ2 所提出的 mrU-Net 架构是否能在保持或提升分割性能的同时减少训练时间？
• RQ3 mrU-Net 在皮肤病变、CT、视网膜和 MR 图像等多样化医学影像模态下的性能与 U-Net 相比如何？
• RQ4 多分辨率输入策略在多大程度上增强了深度分割网络的特征提取能力？
• RQ5 在不同数据集上，分割性能的提升是否具有统计显著性？

主要发现

• 在皮肤病变数据集上，mrU-Net 的 Dice 相似系数达到 70.6%，显著优于 U-Net。
• 在 LUNA 数据集（肺部 CT）上，mrU-Net 的 Dice 得分为 97.9%，表现出优于 U-Net 的分割准确率。
• 在 DRIVE 视网膜图像数据集上，mrU-Net 的 Dice 得分为 73.6%，显示出对 U-Net 的持续改进。
• 在 PROMISE12 前列腺 MRI 数据集上，mrU-Net 和 U-Net 的 Dice 得分均为 77.9%，表明在该特定模态下性能相当。
• mrU-Net 在 LUNA 和 DRIVE 数据集上的训练速度均快于 U-Net，表明其优化效率更高。
• 多分辨率输入策略增强了特征提取能力，从而提升了模型的性能和训练速度。