[论文解读] Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation

Cheng Chen, Qi Dou+3 more|arXiv (Cornell University)|Jan 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用 42

一句话总结

引入 SIFA，一种无监督的跨模态领域自适应框架，协同结合图像外观变换与特征不变学习，在无目标域注释的情况下提升医学图像分割。

ABSTRACT

This paper presents a novel unsupervised domain adaptation framework, called Synergistic Image and Feature Adaptation (SIFA), to effectively tackle the problem of domain shift. Domain adaptation has become an important and hot topic in recent studies on deep learning, aiming to recover performance degradation when applying the neural networks to new testing domains. Our proposed SIFA is an elegant learning diagram which presents synergistic fusion of adaptations from both image and feature perspectives. In particular, we simultaneously transform the appearance of images across domains and enhance domain-invariance of the extracted features towards the segmentation task. The feature encoder layers are shared by both perspectives to grasp their mutual benefits during the end-to-end learning procedure. Without using any annotation from the target domain, the learning of our unified model is guided by adversarial losses, with multiple discriminators employed from various aspects. We have extensively validated our method with a challenging application of cross-modality medical image segmentation of cardiac structures. Experimental results demonstrate that our SIFA model recovers the degraded performance from 17.2% to 73.0%, and outperforms the state-of-the-art methods by a significant margin.

研究动机与目标

• 解决在分割任务中医学影像模态之间的严重领域偏移（例如 MR 与 CT）。
• 开发一个无监督框架，将图像外观变换与特征层面的域对齐相结合。
• 在图像与特征自适应之间共享表示，以实现端到端、零注释的迁移。
• 在跨模态心脏结构分割任务上证明有效性，并在 Dice/ ASD 指标上超越现有方法。

提出的方法

• 通过带循环一致性的生成对抗网络将源域图像转换为目标样貌的图像自适应。
• 通过在紧凑空间引入判别器，共同训练特征适配器：语义预测空间和生成图像空间。
• 在图像与特征自适配之间共享编码器，以学习统一的、领域不变的表示。
• 使用混合分割损失（交叉熵 + Dice）进行优化，以应对医疗数据中的类别不平衡。
• 在端到端对抗学习框架中利用三个判别器（D_t、D_s、D_p）和两个生成器（G_t、G_s）。
• 以交替序列训练，更新图像翻译、判别器、编码器、分类器、解码器和特征空间判别器。

实验结果

研究问题

• RQ1 协同且端到端的图像与特征自适应是否能够在没有目标注释的情况下减少医学影像分割的跨模态领域差距？
• RQ2 在特征编码器共享是否能够在图像外观变换与特征不变学习之间带来互利？
• RQ3 紧凑空间判别器（语义与生成图像空间）相比仅图像或仅特征的方法在域不变特征学习方面提升多少？
• RQ4 该框架在挑战性跨模态任务（如 MR 到 CT 的心脏结构分割）是否有效？

主要发现

• SIFA 将分割性能从 17.2% Dice（无自适应）提高到在 MR 到 CT 的四个心脏结构上的平均 Dice 为 73.0%。
• SIFA 在心脏分割任务上在 Dice 与 ASD 指标上超越了最先进的无监督领域自适应方法。
• 仅图像自适应提供显著增益；在语义预测空间加入特征自适应进一步提升性能，加入生成源空间自适应则获得最佳结果。
• 与 CyCADA 相比，SIFA 在 LVC 和 MYO 结构上实现更优性能，表明协同的双向自适应框架的好处。
• 消融研究显示，将图像自适应与两个特征自适应组件结合，获得最强的 Dice 得分提升（平均 Dice 73.0）。