[论文解读] Semantic-Aware Generative Adversarial Nets for Unsupervised Domain Adaptation in Chest X-ray Segmentation

Cheng Chen, Qi Dou+2 more|arXiv (Cornell University)|Jun 2, 2018

COVID-19 diagnosis using AI参考文献 16被引用 9

一句话总结

本文提出 SeUDA，一种用于胸部X光肺部分割的语义感知生成对抗网络无监督域自适应方法。通过在标签空间中采用嵌套对抗损失，将目标图像转换为类似源域的分布，同时保持语义结构，该方法使预训练的源分割网络可直接进行推理，其性能与需要目标标注的监督迁移学习相当，且无需任何目标标注。

ABSTRACT

In spite of the compelling achievements that deep neural networks (DNNs) have made in medical image computing, these deep models often suffer from degraded performance when being applied to new test datasets with domain shift. In this paper, we present a novel unsupervised domain adaptation approach for segmentation tasks by designing semantic-aware generative adversarial networks (GANs). Specifically, we transform the test image into the appearance of source domain, with the semantic structural information being well preserved, which is achieved by imposing a nested adversarial learning in semantic label space. In this way, the segmentation DNN learned from the source domain is able to be directly generalized to the transformed test image, eliminating the need of training a new model for every new target dataset. Our domain adaptation procedure is unsupervised, without using any target domain labels. The adversarial learning of our network is guided by a GAN loss for mapping data distributions, a cycle-consistency loss for retaining pixel-level content, and a semantic-aware loss for enhancing structural information. We validated our method on two different chest X-ray public datasets for left/right lung segmentation. Experimental results show that the segmentation performance of our unsupervised approach is highly competitive with the upper bound of supervised transfer learning.

研究动机与目标

• 解决因成像协议或临床中心差异导致的医学图像分割中的域偏移问题。
• 开发一种无监督域自适应方法，使源域分割模型可泛化至新的目标数据集，且无需目标标注。
• 在图像到图像翻译过程中保持语义结构完整性，避免肺部等解剖结构的失真。
• 在保持模型灵活性和部署效率的同时，实现与监督迁移学习相当的性能。

提出的方法

• 采用基于 CycleGAN 的框架，将未标注的目标图像翻译为源域的外观，同时保持语义内容。
• 通过在语义标签空间中嵌入嵌套对抗学习，提出一种新型语义感知损失，以增强图像翻译过程中的结构一致性。
• 结合三种损失：用于分布对齐的 GAN 损失、用于像素级内容保持的循环一致性损失，以及用于结构保真度的语义感知损失。
• 将分割网络与域自适应过程解耦，使预训练的源模型可直接在转换后的目标图像上进行推理，无需微调。
• 端到端训练图像翻译网络，结合对抗损失、循环一致性损失和语义感知损失，以稳定训练并提升结构保持能力。
• 使用改进的 ResNet-101 主干网络，结合空洞卷积和多尺度分支，实现在源域中的高分辨率、密集分割预测。

实验结果

研究问题

• RQ1 无监督域自适应方法是否可在胸部X光影像中实现与监督迁移学习相当的分割性能？
• RQ2 与标准 CycleGAN 相比，所提出的语义感知损失在图像到图像翻译过程中对解剖结构的保持效果如何？
• RQ3 当将源域分割模型应用于新的目标数据集时，所提出方法是否能有效减少因域偏移导致的性能下降？
• RQ4 域自适应过程是否可与分割模型解耦，从而实现在转换图像上直接推理而无需重新训练？
• RQ5 该方法在不同随机初始化下的稳定性如何？语义感知损失是否提升了训练的一致性？

主要发现

• 所提出的 SeUDA 方法在目标数据集上实现了 94.70% 的平均 Dice 评分，显著优于基线方法 T-noDA（79.47%）和 T-HistM（91.03%）。
• SeUDA 将平均对称表面距离（ASD）从 T-noDA 的 11.04 mm 降低至 3.51 mm，表明分割精度显著提升。
• 与 UDA 基线 CyUDA 相比，SeUDA 在平均 Dice 上高出 1.49%，ASD 降低 1.01 mm，且性能方差显著更低（Dice 标准差：0.25% vs. 2.03%）。
• SeUDA 的性能与监督迁移学习（T-STL）高度接近，右肺 Dice 仅相差 1.32%，左肺相差 2.42%。
• 可视化结果表明，SeUDA 在图像翻译过程中保持了解剖结构和临床线索，而 CyUDA 有时会扭曲肺部边界。
• 语义感知损失稳定了训练过程，降低了对初始化的敏感性，10 次运行中 Dice 和 ASD 的标准差显著更低。