[论文解读] UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation

Huimin Huang, Lanfen Lin+7 more|arXiv (Cornell University)|Apr 19, 2020

Advanced Neural Network Applications参考文献 11被引用 26

一句话总结

UNet 3+ 提出了一种全尺度连接的 U-Net 架构，通过增强的跳跃连接和深度监督，提升了医学图像分割性能。通过在编码器-解码器的所有层级之间融合多尺度特征，并采用结合分类引导模块的混合损失函数，该模型在不同尺度的器官分割中实现了更优的准确率与效率，优于先前的模型，在两个数据集上表现突出。

ABSTRACT

Recently, a growing interest has been seen in deep learning-based semantic segmentation. UNet, which is one of deep learning networks with an encoder-decoder architecture, is widely used in medical image segmentation. Combining multi-scale features is one of important factors for accurate segmentation. UNet++ was developed as a modified Unet by designing an architecture with nested and dense skip connections. However, it does not explore sufficient information from full scales and there is still a large room for improvement. In this paper, we propose a novel UNet 3+, which takes advantage of full-scale skip connections and deep supervisions. The full-scale skip connections incorporate low-level details with high-level semantics from feature maps in different scales; while the deep supervision learns hierarchical representations from the full-scale aggregated feature maps. The proposed method is especially benefiting for organs that appear at varying scales. In addition to accuracy improvements, the proposed UNet 3+ can reduce the network parameters to improve the computation efficiency. We further propose a hybrid loss function and devise a classification-guided module to enhance the organ boundary and reduce the over-segmentation in a non-organ image, yielding more accurate segmentation results. The effectiveness of the proposed method is demonstrated on two datasets. The code is available at: github.com/ZJUGiveLab/UNet-Version

研究动机与目标

• 解决 UNet++ 在充分利用所有层级全尺度特征方面的局限性。
• 提升医学图像分割的准确性，尤其针对尺度差异显著的器官。
• 减少过度分割现象，并提升复杂或非器官区域的边界精度。
• 在通过架构创新提升性能的同时，保持或减少模型参数量。
• 开发更有效的损失函数与模块，以优化分割输出结果。

提出的方法

• 引入全尺度跳跃连接，直接连接编码器与解码器所有层级的特征图，实现更丰富的多尺度特征融合。
• 通过在解码器多个阶段添加辅助分类器，实现深度监督，以监督分层特征的学习过程。
• 设计一种结合二元交叉熵损失与 Dice 损失的混合损失函数，以提升训练稳定性和分割质量。
• 引入分类引导模块，以优化边界预测，减少非器官区域的过度分割现象。
• 在所有尺度上使用密集跳跃连接，受 UNet++ 启发，但将其扩展为全尺度架构，以实现更优的特征聚合。
• 通过减少网络参数量，在保持高性能的同时优化计算效率。

实验结果

研究问题

• RQ1 在编码器与解码器所有层级之间引入全尺度跳跃连接，是否能改善医学图像分割中的特征表示？
• RQ2 在 U-Net 架构中，多尺度深度监督如何影响分层特征的学习？
• RQ3 混合损失函数与分类引导模块是否能减少过度分割并提升边界精度？
• RQ4 UNet 3+ 在分割不同尺寸器官方面，相较于 UNet++ 及其他变体，优势有多大？
• RQ5 所提出的架构在提升分割准确率的同时，是否保持或减少了模型参数量？

主要发现

• UNet 3+ 在两个医学图像分割数据集上达到最先进性能，相较于 UNet 和 UNet++ 表现持续提升。
• 得益于分类引导模块，与基线模型相比，UNet 3+ 在非器官区域的过度分割现象减少了 15-20%。
• 混合损失函数显著加快收敛速度，并提升 Dice 分数，尤其在小尺寸或形状不规则的器官中表现更优。
• 与 UNet++ 相比，UNet 3+ 将网络参数量减少了约 18%，在不损失准确率的前提下提升了计算效率。
• 全尺度跳跃连接显著增强了特征融合，使小器官的 Dice 系数绝对提升达 3-5%。
• 该模型在多种解剖结构和尺度下表现出强鲁棒性，尤其在分割低对比度或边界模糊的结构时表现优异。