[论文解读] XCAT-GAN for Synthesizing 3D Consistent Labeled Cardiac MR Images on Anatomically Variable XCAT Phantoms

Sina Amirrajab, Samaneh Abbasi-Sureshjani+5 more|arXiv (Cornell University)|Jul 27, 2020

Generative Adversarial Networks and Image SynthesisComputer Science参考文献 28被引用 21

一句话总结

本文提出XCAT-GAN，一种条件生成对抗网络框架，利用4D XCAT体模生成3D一致、解剖可变且带标签的心脏磁共振图像。通过在真实心脏磁共振图像及其语义标签上进行训练，并将模态特异性纹理迁移至XCAT生成的标签图上（采用4类（仅心脏）或8类（多组织）引导），该方法生成了高保真度的合成数据，显著提升了心脏腔室分割性能，即使将80%的真实数据替换为合成图像，性能仍得以保持。

ABSTRACT

Generative adversarial networks (GANs) have provided promising data enrichment solutions by synthesizing high-fidelity images. However, generating large sets of labeled images with new anatomical variations remains unexplored. We propose a novel method for synthesizing cardiac magnetic resonance (CMR) images on a population of virtual subjects with a large anatomical variation, introduced using the 4D eXtended Cardiac and Torso (XCAT) computerized human phantom. We investigate two conditional image synthesis approaches grounded on a semantically-consistent mask-guided image generation technique: 4-class and 8-class XCAT-GANs. The 4-class technique relies on only the annotations of the heart; while the 8-class technique employs a predicted multi-tissue label map of the heart-surrounding organs and provides better guidance for our conditional image synthesis. For both techniques, we train our conditional XCAT-GAN with real images paired with corresponding labels and subsequently at the inference time, we substitute the labels with the XCAT derived ones. Therefore, the trained network accurately transfers the tissue-specific textures to the new label maps. By creating 33 virtual subjects of synthetic CMR images at the end-diastolic and end-systolic phases, we evaluate the usefulness of such data in the downstream cardiac cavity segmentation task under different augmentation strategies. Results demonstrate that even with only 20% of real images (40 volumes) seen during training, segmentation performance is retained with the addition of synthetic CMR images. Moreover, the improvement in utilizing synthetic images for augmenting the real data is evident through the reduction of Hausdorff distance up to 28% and an increase in the Dice score up to 5%, indicating a higher similarity to the ground truth in all dimensions.

研究动机与目标

• 解决深度学习中用于标注的心脏磁共振数据集稀缺且解剖变异有限的问题。
• 克服现有域迁移方法无法在源域之外生成新解剖变异的局限性。
• 开发一种方法，利用具有多样化解剖特征的虚拟体模，生成逼真、3D一致且语义标注的心脏磁共振图像。
• 通过生成保留组织特异性纹理和解剖一致性的合成图像，实现数据增强并可能替代真实数据。
• 通过引入多组织标签图以提供更优引导，提升图像合成中的语义一致性，从而改善分割性能。

提出的方法

• 利用4D扩展心脏与躯干（XCAT）体模生成33名虚拟受试者，涵盖心脏及周围器官的多样化解剖特征。
• 在真实心脏磁共振图像及其语义标签图上训练条件生成对抗网络（XCAT-GAN），以学习模态特异性图像特征（如T1/T2对比度、组织纹理）。
• 应用两种合成策略：4类（仅心脏）与8类（包含心脏及周围器官的多组织标签），以提升空间与语义一致性。
• 推理阶段，将真实标签替换为XCAT生成的标签图，以生成新的合成心脏磁共振图像，同时保持学习到的纹理分布。
• 利用在模拟XCAT图像上预训练的分割网络生成准确的多组织标签图，以提升8类合成中的条件引导效果。
• 采用2D U-Net分割网络进行评估，该网络在真实数据与合成图像联合增强的数据上进行训练，以衡量心脏腔室分割性能。

实验结果

研究问题

• RQ1 XCAT-GAN能否在解剖可变的XCAT体模上生成具有逼真组织纹理的3D一致、带标签的心脏磁共振图像？
• RQ2 与仅使用心脏标签（4类）相比，引入多组织标签图（8类）是否能提升合成心脏磁共振图像的解剖一致性和真实感？
• RQ3 在训练深度学习模型进行心脏腔室分割时，合成心脏磁共振图像在多大程度上可实现数据增强或替代真实数据？
• RQ4 在数据稀缺条件下，合成数据的引入如何影响分割性能（以Dice评分（DSC）和Hausdorff距离（HD）衡量）？
• RQ5 当真实数据减少至原始训练集的20%时，合成数据能否保持高性能？

主要发现

• XCAT-GAN生成的合成心脏磁共振图像展现出高度的解剖与纹理真实感，使用8类标签图时3D一致性显著提升。
• 当仅使用20%的真实cCMR和ACDC数据（40个体积）进行训练时，只要包含合成数据，分割性能仍能保持。
• 与基线模型相比，加入合成数据可使平均Hausdorff距离降低最多28%，Dice评分提升最多5%。
• 8类合成显著减少了背景组织的假阳性，归因于多组织标签提供的更优解剖引导。
• 多种数据增强策略下性能提升一致，8类合成数据展现出更优的泛化能力与鲁棒性。
• 该方法可将高达80%的真实训练数据替换为合成图像而不会造成显著性能下降，展现出在医学影像中实现数据高效深度学习的强潜力。