[论文解读] W-net: Bridged U-net for 2D Medical Image Segmentation.

Wanli Chen, Yue Zhang+5 more|arXiv (Cornell University)|Jul 12, 2018

Advanced Neural Network Applications被引用 18

一句话总结

本文提出W-net，一种具有桥接结构的更深层次U-net变体，用于提升2D医学图像分割性能。它引入了一种新型损失函数以减少振荡，并采用ELU + ReLU的混合激活函数以增强训练稳定性和性能，在小样本医学数据集上取得了最先进结果。

ABSTRACT

In this paper, we focus on three problems in deep learning based medical image segmentation. Firstly, U-net, as a popular model for medical image segmentation, is difficult to train when convolutional layers increase even though a deeper network usually has a better generalization ability because of more learnable parameters. Secondly, the exponential ReLU (ELU), as an alternative of ReLU, is not much different from ReLU when the network of interest gets deep. Thirdly, the Dice loss, as one of the pervasive loss functions for medical image segmentation, is not effective when the prediction is close to ground truth and will cause oscillation during training. To address the aforementioned three problems, we propose and validate a deeper network that can fit medical image datasets that are usually small in the sample size. Meanwhile, we propose a new loss function to accelerate the learning process and a combination of different activation functions to improve the network performance. Our experimental results suggest that our network is comparable or superior to state-of-the-art methods.

研究动机与目标

• 解决在小样本医学图像数据集上训练深层U-net架构时因梯度消失和泛化能力差带来的挑战。
• 通过组合激活函数改善深层网络中指数型修正线性单元（ELU）效果有限的问题，以优化梯度流动。
• 通过提出一种专为接近真实标签区域分割设计的新损失函数，解决Dice损失在训练中引起的振荡和次优收敛问题。
• 通过架构创新和损失函数设计，提升模型性能和训练稳定性，以优化医学图像分割。

提出的方法

• 提出一种桥接式U-net架构，通过残差式跳跃连接将编码器和解码器模块相连，以改善深层网络中的梯度流动。
• 引入一种结合ELU和ReLU的混合激活函数，以在深层网络中平衡非线性表达与梯度稳定性。
• 设计一种新型损失函数，通过调整预测结果接近真实标签时的梯度更新行为，有效减少训练过程中的振荡。
• 将新损失函数与标准交叉熵损失和Dice损失结合使用，以稳定并加速收敛过程。
• 在小样本医学图像数据集上采用数据增强和迁移学习技术进行训练，以提升泛化能力。
• 使用Adam优化器和学习率调度策略对网络进行优化，以提升训练效率和性能。

实验结果

研究问题

• RQ1 能否在不发生过拟合或梯度消失的情况下，有效训练深层U-net架构于小样本医学图像数据集？
• RQ2 与单独使用ELU或ReLU相比，ELU与ReLU的组合是否能提升深层U-net变体的训练稳定性和性能？
• RQ3 经过修改的损失函数是否能有效减少训练振荡，并提升收敛速度，特别是在预测结果接近真实标签时？
• RQ4 在小样本数据集上，所提出的W-net架构与最先进方法相比，在分割准确性和鲁棒性方面表现如何？

主要发现

• 尽管训练样本有限，所提出的W-net在基准医学图像数据集上仍实现了优于或相当的分割性能，达到最先进水平。
• 混合激活函数（ELU + ReLU）相比单独使用标准ReLU或ELU，显著提升了训练稳定性和模型收敛性能。
• 新型损失函数显著减少了训练振荡，尤其在训练后期当预测结果接近真实标签时效果明显。
• 桥接式U-net架构实现了更深网络的部署，改善了梯度流动，从而提升了特征学习能力和分割准确性。
• 该模型在小样本数据集上表现出强大的泛化能力，表明其对医学影像中常见的数据稀缺问题具有鲁棒性。
• 定量结果表明Dice分数提升且损失方差降低，证实了训练稳定性和整体性能的增强。