[论文解读] Pyramid Network with Online Hard Example Mining for Accurate Left Atrium Segmentation

Cheng Bian, Xin Yang+6 more|arXiv (Cornell University)|Dec 14, 2018

Cardiac Valve Diseases and Treatments参考文献 15被引用 6

一句话总结

该论文提出一种结合在线难样本挖掘（OHNEM）与竞争性训练的2D金字塔网络，用于在钆增强MR图像中实现左心房和肺静脉的精确分割。通过利用多尺度特征聚合并聚焦于难以分类的边界体素，该方法在20个体积的测试集上实现了92.83%的平均Dice分数，优于现有的2D与3D方法。

ABSTRACT

Accurately segmenting left atrium in MR volume can benefit the ablation procedure of atrial fibrillation. Traditional automated solutions often fail in relieving experts from the labor-intensive manual labeling. In this paper, we propose a deep neural network based solution for automated left atrium segmentation in gadolinium-enhanced MR volumes with promising performance. We firstly argue that, for this volumetric segmentation task, networks in 2D fashion can present great superiorities in time efficiency and segmentation accuracy than networks with 3D fashion. Considering the highly varying shape of atrium and the branchy structure of associated pulmonary veins, we propose to adopt a pyramid module to collect semantic cues in feature maps from multiple scales for fine-grained segmentation. Also, to promote our network in classifying the hard examples, we propose an Online Hard Negative Example Mining strategy to identify voxels in slices with low classification certainties and penalize the wrong predictions on them. Finally, we devise a competitive training scheme to further boost the generalization ability of networks. Extensively verified on 20 testing volumes, our proposed framework achieves an average Dice of 92.83% in segmenting the left atria and pulmonary veins.

研究动机与目标

• 解决在低对比度、高变异性的钆增强MR（GE-MR）图像中实现左心房和肺静脉精确分割的挑战。
• 通过优先采用2D而非3D网络，提升该体积分割任务的分割精度与效率。
• 通过多尺度特征学习，提升在形态可变性和强度模糊性背景下的边界定位能力。
• 通过在训练过程中选择性聚焦于难负样本，提升模型泛化能力。
• 通过竞争性训练方案增强学习动态，进一步提升性能。

提出的方法

• 该框架采用类似U-Net的2D主干网络，包含残差块与分层特征学习，基于3D MR图像的轴向切片进行处理。
• 金字塔池化模块从多尺度聚合语义线索，以改善上下文建模与细粒度分割。
• 在线难负样本挖掘（OHNEM）动态识别切片中置信度低的体素，并对误分类进行惩罚，以提升边界学习效果。
• 竞争性训练方案（CTS）通过多个模型相互竞争进行训练，提升模型泛化能力与鲁棒性。
• 网络采用Adam优化器进行训练，并结合数据增强；后处理步骤用于移除小的孤立组件。
• 最终模型在20个体积的测试集上，通过Dice、Jaccard、一致性与边界距离等指标进行评估。

实验结果

研究问题

• RQ1 2D卷积网络在GE-MR图像中左心房分割任务中，是否能在速度与精度两方面均优于3D网络？
• RQ2 多尺度上下文聚合在分割如肺静脉等复杂分支结构方面，能发挥多大作用？
• RQ3 在线难负样本挖掘在模糊边界体素上的学习提升程度如何？
• RQ4 竞争性训练方案是否能超越标准训练方式，进一步提升模型泛化能力？
• RQ5 所提出的框架在不同解剖变异与成像条件下表现如何？

主要发现

• 所提框架在20个体积的测试集中实现了92.83%的平均Dice分数，显著优于基线2D与3D网络。
• 引入在线难负样本挖掘（OHNEM）后，Dice分数相比基线PSPNetD模型提升了约0.6个百分点。
• 竞争性训练方案（CTS3）在OHNEM增强模型基础上，进一步将性能提升0.16个百分点。
• 该方法对解剖变异具有鲁棒性，左心房与肺静脉表面的Hausdorff距离在大多数区域均低于2 mm。
• 2D架构的推理速度约为其3D对应模型的四倍，同时保持更优的精度。
• 消融实验证实，金字塔池化与OHNEM是应对边界模糊与形态变异的关键组件。