[论文解读] {\Omega}-Net (Omega-Net): Fully Automatic, Multi-View Cardiac MR Detection, Orientation, and Segmentation with Deep Neural Networks

Davis M. Vigneault, Weidi Xie+3 more|arXiv (Cornell University)|Nov 3, 2017

Advanced Neural Network Applications参考文献 19被引用 6

一句话总结

Ω-Net 是一种新颖的端到端深度学习架构，可联合执行心脏MR图像定位、标准方向变换以及三种临床视图（短轴、四腔、两腔）的多类别分割。它使用U-Net进行初始分割，利用空间变压器网络预测旋转/平移参数，并在变换后的图像上进行最终分割，实现了最先进的性能，在HCM和健康受试者上的加权IoU达到0.858，并在2017年ACDC数据集上优于先前方法。

ABSTRACT

Pixelwise segmentation of the left ventricular (LV) myocardium and the four cardiac chambers in 2-D steady state free precession (SSFP) cine sequences is an essential preprocessing step for a wide range of analyses. Variability in contrast, appearance, orientation, and placement of the heart between patients, clinical views, scanners, and protocols makes fully automatic semantic segmentation a notoriously difficult problem. Here, we present ${\Omega}$-Net (Omega-Net): a novel convolutional neural network (CNN) architecture for simultaneous localization, transformation into a canonical orientation, and semantic segmentation. First, an initial segmentation is performed on the input image, second, the features learned during this initial segmentation are used to predict the parameters needed to transform the input image into a canonical orientation, and third, a final segmentation is performed on the transformed image. In this work, ${\Omega}$-Nets of varying depths were trained to detect five foreground classes in any of three clinical views (short axis, SA, four-chamber, 4C, two-chamber, 2C), without prior knowledge of the view being segmented. The architecture was trained on a cohort of patients with hypertrophic cardiomyopathy and healthy control subjects. Network performance as measured by weighted foreground intersection-over-union (IoU) was substantially improved in the best-performing ${\Omega}$- Net compared with U-Net segmentation without localization or orientation. In addition, {\Omega}-Net was retrained from scratch on the 2017 MICCAI ACDC dataset, and achieves state-of-the-art results on the LV and RV bloodpools, and performed slightly worse in segmentation of the LV myocardium. We conclude this architecture represents a substantive advancement over prior approaches, with implications for biomedical image segmentation more generally.

研究动机与目标

• 开发一种完全自动化的端到端深度学习框架，用于在多个临床视图中同时实现心脏MR图像的定位、方向归一化和语义分割。
• 解决因患者和扫描仪之间心脏外观、方向及图像采集协议差异性高所带来的挑战。
• 通过在最终分割前将输入图像转换为标准方向，提升分割精度，减轻网络负担。
• 使网络能够预测可解释的中间输出（初始分割和变换参数），增强模型透明度。
• 在私有的HCM/健康受试者队列和公开的2017年ACDC数据集上验证该架构，证明其鲁棒性和泛化能力。

提出的方法

• 该网络采用级联架构：初始U-Net在原始输入图像上执行语义分割，生成粗分割结果。
• 利用初始U-Net最下采样层（中心层）的特征，通过空间变压器网络（STN）预测变换参数（旋转和平移）。
• 使用预测的参数将输入图像变换为标准方向，生成重定向图像 I′ = T(I, M)。
• 堆叠的沙漏模块在变换后的图像 I′ 上执行最终语义分割，生成标准方向下的精细化分割结果 S′。
• 整个网络从零开始端到端训练，联合优化定位、变换和分割头。
• 该架构在无先验视图信息的情况下，对三种临床视图中的五种类前景（左心室心肌、左心室血池、右心室血池、左心房、右心房）进行分割。

实验结果

研究问题

• RQ1 单一深度学习模型能否在多个临床视图中同时实现定位、方向归一化和多类别心脏分割？
• RQ2 在存在高度解剖和成像变异的情况下，是否通过在分割前将心脏MR图像转换为标准方向可提升分割精度？
• RQ3 采用中间分割和空间变压器预测的级联架构，是否相比无此类模块的标准U-Net能提升性能？
• RQ4 该方法在包括病理心肌形态在内的多样化患者人群中泛化能力如何？
• RQ5 该模型在2017年ACDC数据集上的性能与当前最先进的心脏MR分割方法相比如何？

主要发现

• 在HCM/健康受试者队列中，性能最佳的Ω-Net实现了0.858的加权前景交并比（IoU），优于无定位或方向校正的U-Net（0.834）。
• 在2017年ACDC数据集上从零开始微调训练后，Ω-Net在左心室（LV）和右心室（RV）血池分割中达到了最先进性能。
• 在ACDC数据集上，Ω-Net在左心室心肌分割方面略逊于最先进方法，表明该类别仍有改进空间。
• 该网络在无视图先验知识的情况下，成功检测了三种临床视图（短轴、四腔、两腔）中的五种心脏结构，展示了强大的泛化能力。
• 中间输出（初始分割和变换参数）提供了人类可解释的洞察，降低了深度学习模型的“黑箱”特性。
• 该架构在生物医学图像分割领域具有广泛应用潜力，尤其适用于多视图和运动伪影干扰的成像场景。