[论文解读] PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network with a Benchmark at Cross-modality Cardiac Segmentation

Qi Dou, Cheng Ouyang+5 more|arXiv (Cornell University)|Dec 19, 2018

COVID-19 diagnosis using AI参考文献 39被引用 45

一句话总结

PnP-AdaNet 发展了一种即插即用的对抗性域自适应方法，用以将基于MRI的分割模型适配到CT（反之亦然），用于跨模态心脏分割，并配有新的跨模态基准和广泛的消融实验。

ABSTRACT

Deep convolutional networks have demonstrated the state-of-the-art performance on various medical image computing tasks. Leveraging images from different modalities for the same analysis task holds clinical benefits. However, the generalization capability of deep models on test data with different distributions remain as a major challenge. In this paper, we propose the PnPAdaNet (plug-and-play adversarial domain adaptation network) for adapting segmentation networks between different modalities of medical images, e.g., MRI and CT. We propose to tackle the significant domain shift by aligning the feature spaces of source and target domains in an unsupervised manner. Specifically, a domain adaptation module flexibly replaces the early encoder layers of the source network, and the higher layers are shared between domains. With adversarial learning, we build two discriminators whose inputs are respectively multi-level features and predicted segmentation masks. We have validated our domain adaptation method on cardiac structure segmentation in unpaired MRI and CT. The experimental results with comprehensive ablation studies demonstrate the excellent efficacy of our proposed PnP-AdaNet. Moreover, we introduce a novel benchmark on the cardiac dataset for the task of unsupervised cross-modality domain adaptation. We will make our code and database publicly available, aiming to promote future studies on this challenging yet important research topic in medical imaging.

研究动机与目标

• 解决跨模态心脏分割的无监督领域自适应挑战（MRI到CT及反向）。
• 提出一种灵活的即插即用域自适应机制，替换早期编码器层同时共享较高层。
• 利用带有多层特征和掩码判别器的对抗学习来对齐潜在空间。
• 在心脏分割基准上验证该方法，并提供全面的消融研究以及公开数据集/代码发布。
• 建立一个基准，以促进医学影像领域未来跨模态域自适应研究。

提出的方法

• 在MRI上训练源域分割网络，采用膨胀卷积网络架构并使用Dice与交叉熵损失的组合。
• 引入一个域自适应模块（DAM），在处理目标域数据时替换早期层，同时保持较高层共享。
• 使用两个判别器对齐特征和掩码：一个在多层特征上的特征判别器，一个在预测分割掩码上的掩码判别器，均通过Wasserstein距离。
• 聚合来自多层的激活以稳定对抗训练并实现对特征空间对齐的深度监督。
• 通过类似GAN的交替训练方案进行优化，先对判别器进行预训练，并在超参数选择上谨慎（例如Lipchitz约束、学习率、权重裁剪）。
• 提供一个无监督训练目标，不需要目标域标注，依赖对抗反馈将目标数据映射到源样潜在空间。

实验结果

研究问题

• RQ1 无监督域适应是否能将跨模态心脏影像（MRI到CT）对齐用于多类分割？
• RQ2 具有共享高层层的即插即用自适应模块是否能有效弥合MRI-CT分布差距？
• RQ3 多层特征和分割掩码判别器是否提高潜在空间对齐和分割质量？
• RQ4 判别器平衡和多层特征聚合对适应性能有何影响？
• RQ5 在MM-WHS派生数据上，与监督上界及其他领域自适应方法相比，所提方法的表现如何？

主要发现

• 在模型仅在MRI上训练时，无监督的跨模态自适应显著提升CT分割性能，平均Dice从13.2%（无自适应）提升到63.9%（经过PnP-AdaNet）。
• 该方法在主动脉分割的恢复方面取得显著进展，并在某些结构上接近完全监督的上界。
• 消融研究显示平衡两类判别器以及使用多层特征水平用于特征空间判别器的重要性。
• 在四个心脏结构上，PnP-AdaNet 相较于单源模型及若干竞争方法，在所报道的实验中显示出显著改进。
• 作者发布了一个新的跨模态心脏分割基准，计划公开代码和数据集以促进未来研究。