[论文解读] Unsupervised Wasserstein Distance Guided Domain Adaptation for 3D Multi-Domain Liver Segmentation

Chenyu You, Junlin Yang+2 more|arXiv (Cornell University)|Sep 6, 2020

COVID-19 diagnosis using AI参考文献 10被引用 8

一句话总结

本文提出一种基于Wasserstein距离引导的解耦表示学习的3D无监督域自适应方法，用于多模态肝脏分割。通过利用3D卷积神经网络、内容判别器和循环一致性，模型从无配对的CT和MRI数据中学习域不变的内容特征，在CT上达到0.904的平均Dice分数，在MRI上达到0.883，性能达到当前最先进水平。

ABSTRACT

Deep neural networks have shown exceptional learning capability and generalizability in the source domain when massive labeled data is provided. However, the well-trained models often fail in the target domain due to the domain shift. Unsupervised domain adaptation aims to improve network performance when applying robust models trained on medical images from source domains to a new target domain. In this work, we present an approach based on the Wasserstein distance guided disentangled representation to achieve 3D multi-domain liver segmentation. Concretely, we embed images onto a shared content space capturing shared feature-level information across domains and domain-specific appearance spaces. The existing mutual information-based representation learning approaches often fail to capture complete representations in multi-domain medical imaging tasks. To mitigate these issues, we utilize Wasserstein distance to learn more complete representation, and introduces a content discriminator to further facilitate the representation disentanglement. Experiments demonstrate that our method outperforms the state-of-the-art on the multi-modality liver segmentation task.

研究动机与目标

• 解决在目标域缺乏标注数据时，3D多模态肝脏分割中的域偏移问题。
• 克服基于互信息的方法在捕捉多样化医学影像模态间完整表征方面的局限性。
• 通过学习解耦的、域不变的内容表征，提升深度学习模型在无配对CT与多期相MRI之间的泛化能力。
• 通过引入体素上下文信息，利用3D卷积神经网络增强3D空间特征学习，而非依赖2D近似方法。
• 引入内容判别器以强制实现模态无关的内容特征，保留解剖结构信息以支持分割任务。

提出的方法

• 采用基于3D卷积神经网络的架构，以捕捉体素医学图像中z方向的空间依赖性。
• 使用独立的内容编码器与风格编码器，将域不变的内容特征与模态特异的外观特性解耦。
• 应用Wasserstein生成对抗网络（WGAN）损失，以最小化内容空间中的域差异，改善特征分布对齐。
• 引入内容判别器，以区分不同域之间的内容级表征，确保内容特征不编码模态特异信息。
• 通过循环一致性损失在域之间强制实现循环一致性，以在图像到图像翻译过程中保持结构一致性。
• 在解耦的内容特征上训练分割头（SegModule），实现在无标注的目标域图像上的鲁棒分割。

实验结果

研究问题

• RQ1 与传统GAN损失相比，Wasserstein距离学习是否能提升多模态3D医学图像分割中解耦表征的质量？
• RQ2 在无配对训练数据的情况下，所提出的3D-WDGDA模型在从CT到多期相MRI的域迁移中，是否能有效减少域偏移？
• RQ3 内容判别器的引入是否能增强3D医学图像中解剖内容与模态特异外观的解耦程度？
• RQ4 与基于2D的域自适应方法相比，3D体素特征学习在多大程度上提升了分割性能？
• RQ5 当应用于复杂、多模态的目标域（如多期相MRI序列）时，该方法的鲁棒性如何？

主要发现

• 所提出的3D-WDGDA c模型在CT上达到0.904的平均Dice分数，在MRI上达到0.883，显著优于基线DenseNet和DADR方法。
• 在多模态目标域评估中，3D-WDGDA c在CT→MRI设置下取得0.834的Dice分数，在MRI→CT设置下取得0.807，表明其在复杂成像对比下的鲁棒性。
• 该方法在CT上取得0.831的Jaccard分数，在MRI上取得0.802，表明预测结果与真实标签之间具有强重叠。
• 图3的定性结果表明，3D-WDGDA c生成的仅含内容的图像更具解剖学合理性，相比DADR和CycleGAN更好地保留了肝脏结构。
• 消融实验验证了内容判别器与Wasserstein损失在联合提升特征解耦与分割性能方面的有效性。
• 即使在多期相MRI作为目标域的测试中，该模型仍保持高性能，Dice分数达0.881，表明其对复杂多模态数据具有强大的泛化能力。