[论文解读] MyoPS-Net: Myocardial Pathology Segmentation with Flexible Combination of Multi-Sequence CMR Images

Junyi Qiu, Lei Li+5 more|arXiv (Cornell University)|Nov 6, 2022

Medical Imaging Techniques and Applications被引用 14

一句话总结

MyoPS-Net 是一种端到端的深度学习框架，用于使用灵活组合的多序列心脏磁共振成像（CMR），包括 bSSFP、LGE、T2、T1 映射和 T2* 映射，进行心肌病理分割。它采用跨模态特征融合、心肌一致性模块和包容性损失，以提高对瘢痕和水肿的分割性能，即使在缺少或不完整 CMR 序列的情况下也能实现最先进水平的性能，展现出强大的临床实用性。

ABSTRACT

Myocardial pathology segmentation (MyoPS) can be a prerequisite for the accurate diagnosis and treatment planning of myocardial infarction. However, achieving this segmentation is challenging, mainly due to the inadequate and indistinct information from an image. In this work, we develop an end-to-end deep neural network, referred to as MyoPS-Net, to flexibly combine five-sequence cardiac magnetic resonance (CMR) images for MyoPS. To extract precise and adequate information, we design an effective yet flexible architecture to extract and fuse cross-modal features. This architecture can tackle different numbers of CMR images and complex combinations of modalities, with output branches targeting specific pathologies. To impose anatomical knowledge on the segmentation results, we first propose a module to regularize myocardium consistency and localize the pathologies, and then introduce an inclusiveness loss to utilize relations between myocardial scars and edema. We evaluated the proposed MyoPS-Net on two datasets, i.e., a private one consisting of 50 paired multi-sequence CMR images and a public one from MICCAI2020 MyoPS Challenge. Experimental results showed that MyoPS-Net could achieve state-of-the-art performance in various scenarios. Note that in practical clinics, the subjects may not have full sequences, such as missing LGE CMR or mapping CMR scans. We therefore conducted extensive experiments to investigate the performance of the proposed method in dealing with such complex combinations of different CMR sequences. Results proved the superiority and generalizability of MyoPS-Net, and more importantly, indicated a practical clinical application.

研究动机与目标

• 解决临床心脏磁共振成像中准确分割心肌瘢痕和水肿的挑战，该挑战受图像质量、边界模糊以及复杂多序列数据融合的影响。
• 开发一种统一的深度学习框架，能够灵活处理 CMR 序列的不同组合，包括 LGE 或映射扫描缺失的情况。
• 通过心肌一致性模块整合解剖先验知识，并通过包容性损失建模病灶之间的空间关系，以提高定位和分割精度。
• 在实际临床环境中验证该方法的鲁棒性和泛化能力，其中完整多序列扫描并非总是可获得。
• 实现端到端学习，联合优化心肌结构和病理分割，减少对两阶段流程的依赖。

提出的方法

• 提出一种跨模态特征融合架构，能够自适应地学习并组合五种 CMR 序列（bSSFP、LGE、T2、T1 映射、T2* 映射）的特征，支持可变的输入组合。
• 引入心肌先验与一致性模块，通过正则化分割输出以保持解剖合理性，并改善病理区域的定位。
• 设计一种包容性损失，强制执行瘢痕位于水肿区域之内的空间约束，利用先验知识提高分割保真度。
• 采用端到端训练范式，共享编码器和输出分支以实现瘢痕与水肿分割的联合优化。
• 使用 MvMM 方法对多序列 CMR 图像进行预对齐，尽管承认真实临床数据通常缺乏此类对齐，因此建议未来工作结合图像配准与分割。
• 支持灵活的输入配置，包括仅含 bSSFP 和 LGE 或仅含 bSSFP 和 T2 的情况，并在四种不同的临床场景下评估性能。

实验结果

研究问题

• RQ1 当组合多个 CMR 序列时，深度学习框架是否能在某些序列缺失的情况下仍实现最先进的心肌病理分割性能？
• RQ2 所提出的包容性损失在通过建模瘢痕为水肿区域子集的空间关系方面，是否显著提升了分割精度？
• RQ3 心肌一致性模块在多大程度上提升了分割结果的定位精度和解剖合理性？
• RQ4 MyoPS-Net 在涉及不完整 CMR 序列（如缺失 LGE 或映射序列）的多样化临床场景中表现如何？
• RQ5 该框架是否能泛化到实际临床环境，其中完整多序列扫描并非常规获取？

主要发现

• 在 MICCAI2020 MyoPS 挑战赛数据集上，MyoPS-Net 在心肌瘢痕分割上达到 0.661 ± 0.255 的平均 Dice 评分，在水肿分割上达到 0.742 ± 0.124，优于现有方法。
• 在包含 50 对多序列 CMR 扫描的私有数据集中，MyoPS-Net 在瘢痕分割上达到 0.647 ± 0.258 的 Dice 评分，在水肿分割上达到 0.722 ± 0.135，展现出跨数据集的优异性能。
• 即使仅使用 bSSFP 和 LGE CMR 序列，模型在瘢痕分割上仍达到 0.583 ± 0.153 的 Dice 评分，在水肿分割上达到 0.628 ± 0.125，表明其在扫描受限场景下的实际应用价值。
• 包容性损失显著提升了分割的一致性，特别是在保持瘢痕被包含在水肿区域内的解剖关系方面。
• 大量消融实验证实，跨模态融合架构和一致性模块在低数据环境下对性能提升贡献显著。
• 该框架在四种不同临床场景中表现出鲁棒性和泛化能力，包括 LGE 或映射序列缺失的情况，凸显其实际临床相关性。