[论文解读] Multimodal MRI brain tumor segmentation using random forests with features learned from fully convolutional neural network

Mohammadreza Soltaninejad, Lei Zhang+3 more|arXiv (Cornell University)|Apr 26, 2017

Brain Tumor Detection and Classification参考文献 15被引用 11

一句话总结

本文提出了一种混合脑肿瘤分割方法，将全卷积神经网络（FCN）学习的特征与手工设计的纹理单元（texton）特征结合，在随机森林分类器中进行处理。通过利用 BRATS 2013 数据集中的多模态 MRI 数据，该方法在完整肿瘤、肿瘤核心和增强肿瘤区域分别取得了 0.88、0.80 和 0.73 的 Dice 分数，显示出在自动化分割任务中的优异性能。

ABSTRACT

In this paper, we propose a novel learning based method for automated segmenta-tion of brain tumor in multimodal MRI images. The machine learned features from fully convolutional neural network (FCN) and hand-designed texton fea-tures are used to classify the MRI image voxels. The score map with pixel-wise predictions is used as a feature map which is learned from multimodal MRI train-ing dataset using the FCN. The learned features are then applied to random for-ests to classify each MRI image voxel into normal brain tissues and different parts of tumor. The method was evaluated on BRATS 2013 challenge dataset. The results show that the application of the random forest classifier to multimodal MRI images using machine-learned features based on FCN and hand-designed features based on textons provides promising segmentations. The Dice overlap measure for automatic brain tumor segmentation against ground truth is 0.88, 080 and 0.73 for complete tumor, core and enhancing tumor, respectively.

研究动机与目标

• 通过结合深度学习与手工特征，提升多模态 MRI 中脑肿瘤的自动化分割性能。
• 解决在复杂、异质性 MRI 扫描中准确检测肿瘤边界的问题。
• 开发一种鲁棒且可泛化的分割框架，充分利用学习到的特征与工程化特征。
• 在 BRATS 2013 基准数据集上，使用标准分割指标评估性能。

提出的方法

• 在多模态 MRI 训练数据上端到端训练全卷积神经网络（FCN），生成表示体素级肿瘤概率预测的得分图。
• 提取 FCN 最后一个卷积层的特征，作为每个体素的高层、机器学习表征。
• 从相同的 MRI 模态中计算手工设计的纹理单元（texton）特征，以捕捉局部纹理模式。
• 将 FCN 学习的特征与 texton 特征拼接，并作为输入送入随机森林分类器，实现体素级分类。
• 训练随机森林以区分正常脑组织与不同的肿瘤子区域（完整肿瘤、核心、增强部分）。
• 推理阶段通过将组合特征图输入训练好的随机森林，生成最终的分割掩码。

实验结果

研究问题

• RQ1 将全卷积网络学习的深层特征与手工设计的纹理单元（texton）特征相结合，能否提升多模态 MRI 中脑肿瘤分割的准确性？
• RQ2 融合学习特征与工程特征的方法，与仅使用其中一种特征类型的方法相比，性能如何？
• RQ3 所提出方法在 BRATS 2013 基准数据集上的标准分割指标表现如何？
• RQ4 随机森林分类器是否能有效利用 FCN 与 texton 特征之间的互补性，实现对肿瘤子区域的精确分类？

主要发现

• 所提方法在 BRATS 2013 数据集上，完整肿瘤区域的 Dice 重叠分数达到 0.88。
• 肿瘤核心区域的 Dice 分数为 0.80，表明在最具临床意义的肿瘤部分表现优异。
• 增强肿瘤区域的 Dice 分数为 0.73，反映出在最具挑战性的子区域中表现中等。
• FCN 学习特征与 texton 特征的融合方法，优于仅依赖手工特征或仅依赖学习特征的方法。
• 随机森林分类器有效结合了深层特征与手工特征的互补优势，提升了分割性能。
• 结果表明，混合学习方法在医学图像分割任务中具有显著有效性。