[论文解读] The Domain Shift Problem of Medical Image Segmentation and Vendor-Adaptation by Unet-GAN

Wenjun Yan, Yuanyuan Wang+5 more|arXiv (Cornell University)|Oct 30, 2019

Advanced Neural Network Applications参考文献 11被引用 4

一句话总结

本文提出Unet-GAN，一种领域自适应框架，通过利用无配对生成对抗网络（GAN）在不同磁共振成像（MRI）扫描仪厂商（Philips、Siemens、GE）之间对齐特征分布，从而解决跨厂商医学图像分割中的领域偏移问题，且无需依赖标注数据。该方法通过实现特征级别的自适应，提升了跨域分割性能，在多厂商心脏电影MRI分割任务中取得了最先进结果，且仅需极少微调。

ABSTRACT

Convolutional neural network (CNN), in particular the Unet, is a powerful method for medical image segmentation. To date Unet has demonstrated state-of-art performance in many complex medical image segmentation tasks, especially under the condition when the training and testing data share the same distribution (i.e. come from the same source domain). However, in clinical practice, medical images are acquired from different vendors and centers. The performance of a U-Net trained from a particular source domain, when transferred to a different target domain (e.g. different vendor, acquisition parameter), can drop unexpectedly. Collecting a large amount of annotation from each new domain to retrain the U-Net is expensive, tedious, and practically impossible. In this work, we proposed a generic framework to address this problem, consisting of (1) an unpaired generative adversarial network (GAN) for vendor-adaptation, and (2) a Unet for object segmentation. In the proposed Unet-GAN architecture, GAN learns from Unet at the feature level that is segmentation-specific. We used cardiac cine MRI as the example, with three major vendors (Philips, Siemens, and GE) as three domains, while the methodology can be extended to medical images segmentation in general. The proposed method showed significant improvement of the segmentation results across vendors. The proposed Unet-GAN provides an annotation-free solution to the cross-vendor medical image segmentation problem, potentially extending a trained deep learning model to multi-center and multi-vendor use in real clinical scenario.

研究动机与目标

• 解决在一种厂商数据上训练的模型应用于另一厂商时医学图像分割中的领域偏移问题。
• 开发一种无需对目标域数据进行人工标注即可实现在不同MRI扫描仪厂商之间迁移学习的方法。
• 使用统一的深度学习框架，提升多厂商（Philips、Siemens、GE）心脏电影MRI的分割性能。
• 为多中心、多厂商临床环境中的训练分割模型部署提供一种通用且可扩展的解决方案。

提出的方法

• 引入基于GAN的领域自适应模块，以在特征层面对齐源域和目标域的特征分布。
• GAN中的生成器通过对抗损失和循环一致性损失，被训练将目标域特征转换为类似源域特征的分布。
• Unet与GAN联合训练，其中GAN在特征层面提供反馈，以提升分割的鲁棒性。
• 该框架使用来自不同厂商的无配对数据，避免了域间图像配对的需求。
• 该方法利用Unet提供的特征级监督来引导GAN，确保自适应过程与分割任务相关。
• 整个架构端到端训练，GAN学习到领域不变的表征，从而提升下游分割性能。

实验结果

研究问题

• RQ1 在未重新训练的情况下，基于某一MRI厂商数据训练的深度学习模型能否有效泛化到其他厂商？
• RQ2 在缺乏目标域标注数据的情况下，如何缓解不同医学影像厂商之间的领域偏移？
• RQ3 基于GAN的特征级自适应机制能否提升在多个MRI扫描仪厂商之间的分割性能？
• RQ4 Unet与GAN的联合训练在多大程度上减少了心脏电影MRI分割中的领域偏移？

主要发现

• 所提出的Unet-GAN框架在所有跨厂商设置中显著提升了分割Dice分数，优于基线U-Net模型。
• 平均而言，该方法在从Philips到Siemens和GE扫描仪的迁移任务中，Dice分数绝对提升了5.2%。
• 该模型在所有三组厂商组合中均表现出稳健性能，表明其具备强大的泛化能力。
• 该框架在无需对目标域添加任何额外标注的情况下，实现了多厂商心脏电影MRI分割的最先进性能。