[论文解读] Neural Style Transfer Improves 3D Cardiovascular MR Image Segmentation on Inconsistent Data

Chunwei Ma, Zhanghexuan Ji+1 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Neural Network Applications参考文献 12被引用 7

一句话总结

本文提出StyleSegor，一种新颖的3D心血管MR图像分割框架，通过神经风格迁移将不一致测试数据的外观与标注的训练数据对齐，显著提升了分割的鲁棒性。通过将训练图像的风格迁移至测试图像，并对多个预测结果采用集成学习，StyleSegor在HVSMR 2016基准上实现了整体评分29.91%的提升，优于当前最先进方法。

ABSTRACT

Three-dimensional medical image segmentation is one of the most important problems in medical image analysis and plays a key role in downstream diagnosis and treatment. Recent years, deep neural networks have made groundbreaking success in medical image segmentation problem. However, due to the high variance in instrumental parameters, experimental protocols, and subject appearances, the generalization of deep learning models is often hindered by the inconsistency in medical images generated by different machines and hospitals. In this work, we present StyleSegor, an efficient and easy-to-use strategy to alleviate this inconsistency issue. Specifically, neural style transfer algorithm is applied to unlabeled data in order to minimize the differences in image properties including brightness, contrast, texture, etc. between the labeled and unlabeled data. We also apply probabilistic adjustment on the network output and integrate multiple predictions through ensemble learning. On a publicly available whole heart segmentation benchmarking dataset from MICCAI HVSMR 2016 challenge, we have demonstrated an elevated dice accuracy surpassing current state-of-the-art method and notably, an improvement of the total score by 29.91\%. StyleSegor is thus corroborated to be an accurate tool for 3D whole heart segmentation especially on highly inconsistent data, and is available at https://github.com/horsepurve/StyleSegor.

研究动机与目标

• 为解决因不同扫描仪和机构间图像外观不一致导致的3D心血管MR图像分割中的领域偏移问题。
• 提升深度学习模型在低质量或分布外测试数据（亮度、对比度和纹理变化）上的泛化能力。
• 开发一种高效、即插即用的方法，通过无需额外标注或复杂领域自适应模块的方式提升分割性能。
• 证明通过神经风格迁移进行外观归一化可显著提升分割精度，尤其对心肌等细微结构具有明显优势。

提出的方法

• 采用空洞空洞卷积神经网络结合空洞空间金字塔池化（ASPP）作为分割主干网络，以保留多尺度特征与细节。
• 直接对未标注的测试切片应用神经风格迁移，通过内容损失与风格损失将测试图像的风格迁移至与标注训练图像一致。
• 风格迁移过程对齐了训练与测试数据之间的强度分布、亮度、对比度与纹理，从而减小领域偏移。
• 对网络输出应用概率校正，以优化分割置信度并减少假阳性结果。
• 通过投票机制对原始图像与风格迁移后图像的多个预测结果进行集成学习，提升鲁棒性。
• 在冠状面、矢状面和轴状面分别训练三个独立模型，并融合其预测结果以获得最终分割输出。

实验结果

研究问题

• RQ1 当训练与测试数据表现出不一致的图像外观时，神经风格迁移是否能有效减轻3D心血管MR图像分割中的领域偏移？
• RQ2 将测试图像的风格迁移至与训练数据一致，是否能提升分割性能，尤其在低对比度或噪声较大的扫描中？
• RQ3 对原始图像与风格迁移后图像的预测结果进行集成学习，是否能进一步提升分割精度并减少假阳性？
• RQ4 通过风格迁移进行外观归一化，在不一致的医学影像数据上，其性能在多大程度上优于传统数据增强或领域自适应技术？

主要发现

• StyleSegor在心肌分割中达到0.839的Dice分数，在血池分割中达到0.937，超越了先前的最先进方法。
• 在HVSMR 2016基准上的整体评分相比最佳先前结果提升了29.91%，达到0.304。
• 心肌分割的Hausdorff距离降低至2.832 mm，表明集成学习后边界定位能力得到改善。
• 风格迁移成功校正了测试图像中的强度分布，使心肌信号与背景的区分更加清晰。
• 对原始图像与风格迁移后图像预测结果的集成显著减少了假阳性，并提升了在低质量扫描上的鲁棒性。
• 即使采用2D卷积主干网络，经概率校正与风格迁移后，方法仍取得了具有竞争力的性能，证明了外观归一化的有效性。