[论文解读] Pancreas Segmentation in CT and MRI Images via Domain Specific Network Designing and Recurrent Neural Contextual Learning

Jinzheng Cai, Le Lü+2 more|arXiv (Cornell University)|Mar 30, 2018

Advanced Neural Network Applications参考文献 25被引用 30

一句话总结

该论文提出了一种新颖的CNN-RNN框架，用于CT和MRI扫描中的胰腺分割，结合了领域特定的2D CNN与双向卷积LSTM（BiRNN），以实现跨切片的形状连续性。通过端到端训练并采用直接Jaccard损失，该方法在CT上实现了83.7% ± 5.1的SOTA DSC，在MRI上实现了80.7% ± 7.4，通过提升空间平滑性和在小数据集上的鲁棒性，优于先前方法。

ABSTRACT

Automatic pancreas segmentation in radiology images, eg., computed tomography (CT) and magnetic resonance imaging (MRI), is frequently required by computer-aided screening, diagnosis, and quantitative assessment. Yet pancreas is a challenging abdominal organ to segment due to the high inter-patient anatomical variability in both shape and volume metrics. Recently, convolutional neural networks (CNNs) have demonstrated promising performance on accurate segmentation of pancreas. However, the CNN-based method often suffers from segmentation discontinuity for reasons such as noisy image quality and blurry pancreatic boundary. From this point, we propose to introduce recurrent neural networks (RNNs) to address the problem of spatial non-smoothness of inter-slice pancreas segmentation across adjacent image slices. To inference initial segmentation, we first train a 2D CNN sub-network, where we modify its network architecture with deep-supervision and multi-scale feature map aggregation so that it can be trained from scratch with small-sized training data and presents superior performance than transferred models. Thereafter, the successive CNN outputs are processed by another RNN sub-network, which refines the consistency of segmented shapes. More specifically, the RNN sub-network consists convolutional long short-term memory (CLSTM) units in both top-down and bottom-up directions, which regularizes the segmentation of an image by integrating predictions of its neighboring slices. We train the stacked CNN-RNN model end-to-end and perform quantitative evaluations on both CT and MRI images.

研究动机与目标

• 解决CT和MRI扫描中高个体间解剖变异性和胰腺边界模糊的挑战。
• 提升相邻切片间的分割精度与空间平滑性，尤其是在图像质量较差或边界模糊的情况下。
• 开发一种紧凑的、可端到端训练的深度学习模型，即使在训练数据有限时也能表现良好。
• 通过使用循环网络建模相邻切片之间的上下文依赖关系，增强形状连续性。
• 在CT和MRI数据集上，超越现有SOTA方法在胰腺分割中的表现。

提出的方法

• 设计一个带有深度监督和多尺度特征聚合的2D CNN子网络，以在小数据集上从零开始训练时提升性能。
• 集成一个双向卷积LSTM（BiRNN）模块，采用自顶向下和自底向上的CLSTM单元，以规范相邻切片间的分割一致性。
• 在端到端训练过程中使用直接Jaccard（JAC）损失函数，以生成无需阈值处理的高精度概率图。
• 将CNN与BiRNN组件堆叠为统一的CNN-RNN架构，实现特征学习与形状正则化的联合优化。
• 在CT和MRI数据集上端到端训练完整模型，利用相邻切片的上下文信息优化分割输出。
• 将模型应用于3D CT和3D MRI扫描，推理过程按切片进行，并后处理为3D体素结果。

实验结果

研究问题

• RQ1 在有限数据上从零开始训练时，具有多尺度和深度监督的领域特定2D CNN是否能提升胰腺分割的准确性？
• RQ2 通过CLSTM引入双向循环上下文学习，是否能显著增强切片间的形状连续性并减少分割不连续性？
• RQ3 直接Jaccard损失函数是否能优于标准交叉熵损失，生成更准确、无需阈值处理的分割结果？
• RQ4 所提出的CNN-RNN框架在CT和MRI数据集上，与SOTA方法相比，在Dice相似系数（DSC）和Jaccard指数（JI）方面表现如何？
• RQ5 该模型在图像质量与切片厚度各异的不同成像模态之间，其泛化能力如何？

主要发现

• 所提出的PNet-MSA+BiRNN模型在CT数据集上实现了83.7% ± 5.1的DSC，超越了此前SOTA的81.3% ± 6.3。
• 在MRI数据集上，该模型实现了80.7% ± 7.4的DSC，优于基于图融合方法的先前最佳结果76.1% ± 8.7。
• BiRNN组件显著提升了切片间的形状连续性，表现为更平滑的3D分割表面以及能保留细微边界的更清晰概率图。
• 采用所提架构从零开始训练的模型优于如U-Net等更大的预训练模型，证明了该设计的有效性。
• 使用直接Jaccard损失相比标准交叉熵训练，生成了更鲁棒、更准确的无需阈值处理的分割结果。
• 该方法在标准差更低的情况下实现更优性能，表明在不同患者解剖结构下具有更高的数值稳定性。