[论文解读] Sub-cortical brain structure segmentation using F-CNN's

Mahsa Shakeri, Stavros Tsogkas+5 more|SPIRE - Sciences Po Institutional REpository|Feb 5, 2016

Advanced Neural Network Applications参考文献 1被引用 4

一句话总结

该论文提出了一种结合马尔可夫随机场（MRF）推理的全卷积神经网络（F-CNN），用于在MRI扫描中对皮层下脑结构进行精确的2D切片分割。通过将CNN输出的概率视为MRF的一元势能，并应用alpha展开法进行空间一致的推理，该方法在两个数据集上实现了最先进的Dice分数，优于基于随机森林的先验方法以及Freesurfer和FSL-FIRST等成熟工具。

ABSTRACT

In this paper we propose a deep learning approach for segmenting sub-cortical structures of the human brain in Magnetic Resonance (MR) image data. We draw inspiration from a state-of-the-art Fully-Convolutional Neural Network (F-CNN) architecture for semantic segmentation of objects in natural images, and adapt it to our task. Unlike previous CNN-based methods that operate on image patches, our model is applied on a full blown 2D image, without any alignment or registration steps at testing time. We further improve segmentation results by interpreting the CNN output as potentials of a Markov Random Field (MRF), whose topology corresponds to a volumetric grid. Alpha-expansion is used to perform approximate inference imposing spatial volumetric homogeneity to the CNN priors. We compare the performance of the proposed pipeline with a similar system using Random Forest-based priors, as well as state-of-art segmentation algorithms, and show promising results on two different brain MRI datasets.

研究动机与目标

• 开发一种深度学习框架，用于在MRI扫描中对皮层下脑结构进行精确分割。
• 通过处理完整的2D MRI切片（无需对齐或配准）来克服基于补丁的CNN的局限性。
• 通过将CNN输出建模为3D马尔可夫随机场（MRF）中的势能，提升空间一致性和分割精度。
• 将所提方法与基于随机森林的先验方法以及Freesurfer和FSL-FIRST等先进分割工具进行比较。
• 解决医学图像分割中的挑战，包括小样本数据、低分辨率特征图以及对称结构混淆问题。

提出的方法

• 从零开始在2D MRI切片上训练一个全卷积神经网络（F-CNN），使用五对卷积-最大池化层，并结合空洞卷积以保持高分辨率特征图。
• 通过空洞卷积扩展感受野，网络处理完整的2D切片，实现4倍下采样因子，并为L个类别生成64×64×L的输出特征图。
• 将CNN输出的概率图解释为具有6邻域网格结构的3D MRF中的一元势能，以建模空间体积同质性。
• 使用alpha展开法进行MRF中的近似推理，以优化多标签能量函数，确保体素间分割结果的平滑与一致。
• 通过水平翻转和平移（±5、10、15、20像素）进行数据增强，以缓解小样本训练数据下的过拟合问题。
• 采用SGD带动量的端到端训练策略，使用交叉熵损失函数，并在35个周期内将初始学习率从0.01逐步调整至0.0001。

实验结果

研究问题

• RQ1 在2D MRI切片上训练的全卷积网络是否能在皮层下结构分割性能上优于基于补丁或基于随机森林的方法？
• RQ2 在体积MRI数据上，结合alpha展开推理的马尔可夫随机场（MRF）是否能提升空间一致性和分割精度？
• RQ3 在Dice分数和边界精度方面，所提方法与Freesurfer和FSL-FIRST等成熟工具相比表现如何？
• RQ4 为何基于2D切片的CNN在矢状或冠状视图下难以区分对称脑结构（如尾状核），以及如何缓解此问题？
• RQ5 在2D切片上进行训练在多大程度上限制了对细微解剖细节（如尾状核细长尾部）的捕捉？

主要发现

• 所提F-CNN结合MRF推理在IBSR数据集上对丘脑的平均Dice系数达到0.87，优于Freesurfer（0.86）和FSL-FIRST（0.85）。
• 在IBSR数据集中，对于尾状核，该方法的Dice分数为0.78，略低于Freesurfer的0.82，表明在捕捉细长尾部区域方面仍存在局限。
• 在RE数据集中，该方法对壳核的Dice分数达到0.89，优于Freesurfer（0.74），与FSL-FIRST（0.88）持平。
• 与基于随机森林的基线相比，该CNN方法显著降低了Hausdorff距离和轮廓平均距离，表明边界精度得到提升。
• 该模型处理256×256图像的前向传播时间约为5ms，展现出高效的推理性能。
• 在矢状或冠状视图上进行训练会导致性能下降，原因在于对称性引发的左右结构混淆，凸显了引入3D感知先验的必要性。