[论文解读] Spatial Aggregation of Holistically-Nested Convolutional Neural Networks for Automated Pancreas Localization and Segmentation

Holger R. Roth, Le Lü+5 more|arXiv (Cornell University)|Jan 31, 2017

Advanced Neural Network Applications参考文献 38被引用 14

一句话总结

该论文提出了一种两阶段深度学习框架，用于在3D CT扫描中自动定位和分割胰腺，采用全卷积神经网络（HNNs）对冠状面、矢状面和轴向面进行处理。通过空间池化融合像素级概率图，并整合中层内部结构与边界线索，该方法在4折交叉验证下实现了81.27% ± 6.27%的最优Dice相似系数（DSC）。

ABSTRACT

Accurate and automatic organ segmentation from 3D radiological scans is an important yet challenging problem for medical image analysis. Specifically, the pancreas demonstrates very high inter-patient anatomical variability in both its shape and volume. In this paper, we present an automated system using 3D computed tomography (CT) volumes via a two-stage cascaded approach: pancreas localization and segmentation. For the first step, we localize the pancreas from the entire 3D CT scan, providing a reliable bounding box for the more refined segmentation step. We introduce a fully deep-learning approach, based on an efficient application of holistically-nested convolutional networks (HNNs) on the three orthogonal axial, sagittal, and coronal views. The resulting HNN per-pixel probability maps are then fused using pooling to reliably produce a 3D bounding box of the pancreas that maximizes the recall. We show that our introduced localizer compares favorably to both a conventional non-deep-learning method and a recent hybrid approach based on spatial aggregation of superpixels using random forest classification. The second, segmentation, phase operates within the computed bounding box and integrates semantic mid-level cues of deeply-learned organ interior and boundary maps, obtained by two additional and separate realizations of HNNs. By integrating these two mid-level cues, our method is capable of generating boundary-preserving pixel-wise class label maps that result in the final pancreas segmentation. Quantitative evaluation is performed on a publicly available dataset of 82 patient CT scans using 4-fold cross-validation (CV). We achieve a Dice similarity coefficient (DSC) of 81.27+/-6.27% in validation, which significantly outperforms previous state-of-the art methods that report DSCs of 71.80+/-10.70% and 78.01+/-8.20%, respectively, using the same dataset.

研究动机与目标

• 解决胰腺形状和大小在解剖学上高度可变的问题，该问题限制了3D CT扫描中分割的准确性。
• 克服传统自顶向下方法（如多图谱配准和统计形状建模）因极端可变形性而带来的局限性。
• 开发一种稳健的端到端深度学习方法，相比先前的SOTA方法，显著提升分割准确性和稳定性。
• 利用全卷积HNNs整合中层视觉线索——器官内部和边界图，以增强边界保持能力和分割保真度。
• 在计算成本更低的前提下实现更优性能，相比以往需要数小时处理时间的方法具有显著优势。

提出的方法

• 采用两阶段级联框架：首先通过三个正交2D视图（轴向、矢状、冠状）的3D边界框估计实现胰腺定位。
• 应用全卷积神经网络（HNNs）为每个视图生成像素级概率图，以捕捉层次化特征和上下文信息。
• 通过最大池化和平均池化策略融合HNN输出，生成可靠的3D边界框，以最大化胰腺定位的召回率。
• 在定位的边界框内使用两个独立的HNN进行分割：一个用于器官内部（HNN-I），一个用于边界响应（HNN-B），以实现中层线索的整合。
• 通过空间聚合与基于随机森林的融合（HNN-RF）结合内部和边界预测，以优化分割结果并提升边界准确性。
• 通过微调ImageNet预训练模型实现迁移学习，以在医疗训练数据有限的情况下增强特征学习能力。

实验结果

研究问题

• RQ1 多视角、空间聚合的HNN框架是否能优于传统非深度学习方法及混合超像素方法在胰腺定位中的表现？
• RQ2 通过独立HNN整合中层器官内部与边界线索，是否能相比单任务模型提升分割准确性和边界保持能力？
• RQ3 2D多视角方法是否能缓解3D CNN中常见的维度灾难与过拟合问题，同时保持高性能？
• RQ4 在标准4折交叉验证下，该方法与先前SOTA方法相比，在Dice分数、Hausdorff距离和统计稳定性（标准差）方面表现如何？
• RQ5 在最坏情况场景下，所提出的HNN-RF融合策略是否比HNN-meanmax基线更具鲁棒性，特别是在边界一致性方面？

主要发现

• 所提方法在82例患者CT扫描中，采用4折交叉验证，平均Dice相似系数（DSC）达到81.27% ± 6.27%，显著优于先前SOTA方法。
• HNN-RF变体（整合边界响应）在最坏情况下的分割性能更优，与HNN-meanmax相比，Hausdorff距离显著降低（p < 0.001）。
• 该方法的最小DSC达到50.69%（HNN-RF）和44.69%（HNN-meanmax），表明其鲁棒性优于以往研究中某些情况下DSC < 10%的表现。
• DSC的标准差（6.27%）显著低于以往方法（如[7]中的10.70%），表明在不同患者间具有更高的统计稳定性和一致性。
• 计算成本仅为每例扫描2–3分钟，远低于以往需要数小时的方法，使其在临床部署中更具实用性。
• 利用2D视图并结合大规模自然图像数据集的迁移学习，即使在医疗训练数据有限的情况下，也能实现有效的特征学习，支持良好的泛化能力。