[论文解读] Unsupervised Cross-Modality Domain Adaptation of ConvNets for Biomedical Image Segmentations with Adversarial Loss

Qi Dou, Cheng Ouyang+3 more|arXiv (Cornell University)|Apr 29, 2018

Domain Adaptation and Few-Shot Learning参考文献 12被引用 33

一句话总结

该论文提出了一种用于生物医学图像分割的无监督跨模态域自适应框架，通过对抗性学习将训练于MRI数据的卷积神经网络迁移至未配对的CT数据。通过引入即插即用的域自适应模块（DAM）和通过对抗性损失训练、无需目标标注的域判别器模块（DCM），该方法在心脏结构分割任务中实现了43.4%的平均Dice分数提升，即使在显著的域偏移下也表现出强劲性能。

ABSTRACT

Convolutional networks (ConvNets) have achieved great successes in various challenging vision tasks. However, the performance of ConvNets would degrade when encountering the domain shift. The domain adaptation is more significant while challenging in the field of biomedical image analysis, where cross-modality data have largely different distributions. Given that annotating the medical data is especially expensive, the supervised transfer learning approaches are not quite optimal. In this paper, we propose an unsupervised domain adaptation framework with adversarial learning for cross-modality biomedical image segmentations. Specifically, our model is based on a dilated fully convolutional network for pixel-wise prediction. Moreover, we build a plug-and-play domain adaptation module (DAM) to map the target input to features which are aligned with source domain feature space. A domain critic module (DCM) is set up for discriminating the feature space of both domains. We optimize the DAM and DCM via an adversarial loss without using any target domain label. Our proposed method is validated by adapting a ConvNet trained with MRI images to unpaired CT data for cardiac structures segmentations, and achieved very promising results.

研究动机与目标

• 为解决跨模态医学图像之间由于成像物理机制差异导致的数据分布显著不同的域偏移挑战，特别是从MRI到CT的迁移问题。
• 实现在无需额外标注CT数据的情况下，将预训练的MRI分割模型有效迁移至CT数据。
• 开发一种灵活的、即插即用的域自适应框架，通过对抗性训练在特征层面实现域自适应。
• 在涉及成像模态间显著域偏移的真实临床场景中，验证无监督域自适应的可行性和有效性。

提出的方法

• 使用空洞全卷积网络对源域（MRI）中的像素级分割预测进行建模。
• 引入即插即用的域自适应模块（DAM），将目标域（CT）的特征映射到源域（MRI）的特征空间。
• 通过卷积网络实现的域判别器模块（DCM）用于区分源域和经自适应后的目标域特征。
• 通过最小-最大博弈中的对抗性损失，联合训练DAM和DCM，实现端到端的无监督域自适应，无需目标标签。
• 适应深度d控制网络中被DAM替换的层数，通过消融实验优化该超参数。
• 在未配对的MRI和CT数据集上进行心脏分割任务的训练与评估，使用Dice分数和平均表面距离（ASD）作为评估指标。

实验结果

研究问题

• RQ1 在存在显著域偏移的情况下，无监督域自适应能否有效将预训练的MRI分割模型迁移至未配对的CT数据？
• RQ2 域自适应的深度（d）如何影响跨模态生物医学图像分割中的分割性能？
• RQ3 在无目标标注的情况下，仅依靠对抗性学习在多大程度上能对齐MRI与CT模态之间的特征分布，从而提升分割性能？
• RQ4 与有监督微调和基线零样本迁移方法相比，所提出方法在心脏结构分割中的准确性如何？
• RQ5 在心脏分割中，哪些解剖结构对跨模态自适应最具挑战性，原因是什么？

主要发现

• 与无域自适应的基线模型相比，所提方法在从MRI迁移至未配对CT数据时，四个心脏结构的平均Dice分数提升了43.4%。
• Seg-CT-UDA（d=21）模型在升主动脉（AA）上实现了0.80的Dice分数，接近有监督微调模型（Seg-CT-STL）的性能，表明其在边界和几何模式学习方面具有优异能力。
• 在四个心脏结构中的三个上，适应深度d=21的模型优于d=13和d=31，表明中等深度的自适应在模型容量与训练稳定性之间实现了最佳平衡。
• Seg-CT-UDA模型显著优于基线模型Seg-CT-noDA（左心室血池仅0.8% Dice），凸显了在跨模态迁移中域自适应的必要性。
• 尽管在左心室血池和左心室心肌等结构中存在高解剖复杂性和低对比度，该方法仍取得了有希望的分割结果，但这些区域因边界噪声和组织对比度不清晰导致ASD值较高。
• 消融实验表明，随着适应深度的增加，性能持续提升至某一临界点，其中d=31优于d=13，表明更深层次的特征级自适应能有效增强域对齐。