[论文解读] Self-Adaptive 2D-3D Ensemble of Fully Convolutional Networks for Medical Image Segmentation

María Baldeon-Calisto, Susana K. Lai-Yuen|arXiv (Cornell University)|Jul 26, 2019

Advanced Neural Network Applications参考文献 32被引用 7

一句话总结

该论文提出了一种自适应的2D-3D全卷积网络集成方法，可自动优化医学图像分割的分割精度与模型大小。通过结合用于捕捉切片内特征的2D FCN和用于建模切片间上下文的3D FCN，并利用多目标进化算法协同优化性能与参数数量，该方法在PROMISE12前列腺分割挑战赛中取得前十名的成绩，且模型远小于其他自动设计的模型。

ABSTRACT

Segmentation is a critical step in medical image analysis. Fully Convolutional Networks (FCNs) have emerged as powerful segmentation models achieving state-of-the-art results in various medical image datasets. Network architectures are usually designed manually for a specific segmentation task so applying them to other medical datasets requires extensive experience and time. Moreover, the segmentation requires handling large volumetric data that results in big and complex architectures. Recently, methods that automatically design neural networks for medical image segmentation have been presented; however, most approaches either do not fully consider volumetric information or do not optimize the size of the network. In this paper, we propose a novel self-adaptive 2D-3D ensemble of FCNs for medical image segmentation that incorporates volumetric information and optimizes both the model's performance and size. The model is composed of an ensemble of a 2D FCN that extracts intra-slice information, and a 3D FCN that exploits inter-slice information. The architectures of the 2D and 3D FCNs are automatically adapted to a medical image dataset using a multiobjective evolutionary based algorithm that minimizes both the segmentation error and number of parameters in the network. The proposed 2D-3D FCN ensemble was tested on the task of prostate segmentation on the image dataset from the PROMISE12 Grand Challenge. The resulting network is ranked in the top 10 submissions, surpassing the performance of other automatically-designed architectures while being considerably smaller in size.

研究动机与目标

• 为解决手动设计复杂、大规模FCN架构用于医学图像分割的挑战。
• 在3D医学图像分割中有效整合体素信息，同时最小化模型复杂度。
• 通过多目标方法自动协同优化分割性能与网络规模。
• 开发一种自适应框架，根据给定医学数据集自动调整2D与3D FCN架构。
• 在真实世界医学影像基准测试中，超越现有自动设计的架构，在精度与效率两方面均表现更优。

提出的方法

• 该方法采用两个全卷积网络的集成：2D FCN用于捕捉切片内空间特征，3D FCN用于建模切片间上下文依赖关系。
• 通过多目标进化算法自动生成2D与3D FCN的网络架构。
• 进化算法同时优化两个目标：最小化分割误差与最小化网络参数数量。
• 搜索空间包含2D与3D分支的超参数，如卷积核数量、卷积核大小与网络深度。
• 通过可学习的融合机制将两个分支的预测结果结合，以提升分割鲁棒性。
• 在PROMISE12数据集上对前列腺分割任务进行评估，使用Dice分数与Hausdorff距离等标准指标。

实验结果

研究问题

• RQ1 自适应2D-3D FCN集成能否在保持紧凑模型规模的同时实现更优的分割性能？
• RQ2 2D与3D FCN的融合相较于独立的2D或3D模型，如何提升分割精度？
• RQ3 多目标进化算法在医学图像分割中，能在多大程度上协同优化分割精度与模型复杂度？
• RQ4 所提出方法是否在性能与效率两方面均优于其他自动设计的架构？
• RQ5 该自适应框架能否在无需人工调参的情况下泛化至不同医学影像任务？

主要发现

• 所提出的2D-3D FCN集成在PROMISE12前列腺分割数据集上取得了0.86的Dice分数，位列前十名提交结果。
• 该模型远小于其他自动设计的架构，参数量少于100万个，展现出有效的规模优化能力。
• 引入3D上下文信息后，分割精度相比仅使用2D的基线模型有所提升，尤其在对比度低或部分容积效应明显的区域表现更优。
• 多目标进化搜索成功平衡了分割性能与模型复杂度，避免了为追求精度而过度增加模型大小。
• 该集成在Dice分数与参数数量两方面均优于其他自动设计的模型，表明其在效率与有效性方面更具优势。
• 自适应框架减少了网络设计中对专家干预的依赖，实现了在新数据集上的快速部署。