[论文解读] Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation

Cheng Chen, Qi Dou+3 more|arXiv (Cornell University)|Feb 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 10

一句话总结

该论文提出SIFA，一种用于医学图像分割的新型无监督域自适应框架，通过联合优化图像到图像翻译与特征级域不变性，利用共享编码器的对抗性学习，协同对齐跨模态分布。在MRI-CT心脏和腹部分割任务上评估，SIFA 显著优于最先进方法，在无需目标标注的情况下实现双向适应，Dice分数更高。

ABSTRACT

Unsupervised domain adaptation has increasingly gained interest in medical image computing, aiming to tackle the performance degradation of deep neural networks when being deployed to unseen data with heterogeneous characteristics. In this work, we present a novel unsupervised domain adaptation framework, named as Synergistic Image and Feature Alignment (SIFA), to effectively adapt a segmentation network to an unlabeled target domain. Our proposed SIFA conducts synergistic alignment of domains from both image and feature perspectives. In particular, we simultaneously transform the appearance of images across domains and enhance domain-invariance of the extracted features by leveraging adversarial learning in multiple aspects and with a deeply supervised mechanism. The feature encoder is shared between both adaptive perspectives to leverage their mutual benefits via end-to-end learning. We have extensively evaluated our method with cardiac substructure segmentation and abdominal multi-organ segmentation for bidirectional cross-modality adaptation between MRI and CT images. Experimental results on two different tasks demonstrate that our SIFA method is effective in improving segmentation performance on unlabeled target images, and outperforms the state-of-the-art domain adaptation approaches by a large margin.

研究动机与目标

• 解决由MRI和CT等成像模态差异引起的医学图像分割中严重的域偏移问题。
• 在不依赖标注目标数据的情况下，提升无监督域自适应性能。
• 将图像级与特征级域对齐统一为单一端到端框架，实现协同优化。
• 支持MRI与CT模态之间的双向适应，同时实现MRI到CT和CT到MRI的迁移。
• 通过对抗性学习与循环一致性，提升模型在异构医学影像数据上的泛化能力。

提出的方法

• 在图像与特征对齐分支中均使用共享特征编码器，以支持端到端训练并实现相互增益。
• 通过带有循环一致性损失的CycleGAN风格生成对抗网络实现图像级对齐，将源域图像（如MRI）翻译为目标域外观（如CT）。
• 通过多个判别器强制实现特征级对齐，以区分来自源域风格图像和分割预测的真与假特征。
• 通过在编码器多个阶段放置判别器，施加深度监督，以增强特征级域不变性。
• 通过对抗损失、循环一致性损失与分割交叉熵损失，联合优化图像翻译与分割任务。
• 通过在训练中交替源域与目标域角色，支持双向适应，实现在模态间的零样本迁移。

实验结果

研究问题

• RQ1 图像与特征分布的协同对齐是否能提升跨模态医学图像分割中的无监督域自适应性能？
• RQ2 与孤立方法相比，图像翻译与特征对齐的联合优化如何影响分割性能？
• RQ3 共享编码器在统一框架中在多大程度上增强了图像与特征自适应之间的相互增益？
• RQ4 所提出方法在不同解剖区域与分割任务（如心脏与腹部器官）之间是否具有泛化能力？
• RQ5 该框架是否能在无任何标注目标数据的情况下实现强双向适应性能？

主要发现

• SIFA在心脏亚结构分割任务中达到最先进性能，MRI平均Dice分数为90.9，CT为83.6，优于目标域的监督基线方法。
• 在腹部多器官分割任务中，SIFA显著优于现有无监督域自适应方法，表现出在复杂解剖结构中的鲁棒性。
• 在MRI到CT与CT到MRI的双向适应中，SIFA均大幅超越先前最先进方法，证实其双向有效性。
• 消融实验表明，若移除图像或特征对齐任一模块，性能均会下降，验证了两者的协同贡献。
• 即使在源域与目标域分布差异较大的情况下（如MRI与CT扫描之间），该框架仍保持高性能。