[论文解读] On the effectiveness of GAN generated cardiac MRIs for segmentation

Youssef Skandarani, Nathan Painchaud+2 more|arXiv (Cornell University)|May 18, 2020

Advanced MRI Techniques and ApplicationsMedicine参考文献 8被引用 22

一句话总结

该论文提出了一种 VAE-GAN 框架，通过条件化变分自编码器生成的解剖图谱，生成逼真且像素级精确的心脏 MRI 图像及其对应的分割标签。该方法在结合数据增强和在有限真实数据集上微调时，实现了最先进水平的分割性能，Dice 分数最高提升 12%。

ABSTRACT

In this work, we propose a Variational Autoencoder (VAE) - Generative Adversarial Networks (GAN) model that can produce highly realistic MRI together with its pixel accurate groundtruth for the application of cine-MR image cardiac segmentation. On one side of our model is a Variational Autoencoder (VAE) trained to learn the latent representations of cardiac shapes. On the other side is a GAN that uses "SPatially-Adaptive (DE)Normalization" (SPADE) modules to generate realistic MR images tailored to a given anatomical map. At test time, the sampling of the VAE latent space allows to generate an arbitrary large number of cardiac shapes, which are fed to the GAN that subsequently generates MR images whose cardiac structure fits that of the cardiac shapes. In other words, our system can generate a large volume of realistic yet labeled cardiac MR images. We show that segmentation with CNNs trained with our synthetic annotated images gets competitive results compared to traditional techniques. We also show that combining data augmentation with our GAN-generated images lead to an improvement in the Dice score of up to 12 percent while allowing for better generalization capabilities on other datasets.

研究动机与目标

• 解决医学影像中注释心脏 MRI 数据集稀缺且成本高昂的问题。
• 生成高度逼真、多样化且完全监督的心脏电影 MRI 图像，具备精确的分割标签。
• 利用合成的、解剖学上有效的 MRI 数据，为深度学习分割模型提供数据增强。
• 在有限真实数据集上提升基于 CNN 的分割网络的泛化能力和性能。
• 探索使用 VAE-GAN 流水线实现端到端、标签一致的医学图像生成的可行性。

提出的方法

• 一个变分自编码器（VAE）从真实分割图中学习心脏解剖形态的潜在分布。
• 一个带有 SPADE（空间自适应归一化）模块的 GAN，根据 VAE 生成的解剖图谱生成逼真的 MRI 图像。
• 生成器生成的 MRI 图像中，心脏结构与输入解剖图谱精确对齐，确保真实标签的一致性。
• 推理过程中，从 VAE 的潜在空间采样可生成多样化的心脏形态，并输入 GAN 以生成对应的合成 MRI 图像。
• 该框架可大规模生成数据（10 万张图像），并配对生成图像和分割标签用于训练。
• 通过在合成数据上训练 ENet，并与在真实数据集上进行数据增强和微调的设置进行对比，对方法进行评估。

实验结果

研究问题

• RQ1 VAE-GAN 框架能否生成具有准确、像素级分割标签的逼真心脏 MRI 图像？
• RQ2 与真实数据相比，该框架生成的合成数据在训练 CNN 进行心脏分割时有多高效？
• RQ3 将合成数据与传统数据增强结合，是否能提升分割性能和模型泛化能力？
• RQ4 在真实数据上微调如何提升在合成数据上预训练模型的性能？
• RQ5 合成数据能否提升跨数据集的泛化能力，特别是在一个数据集上训练、在另一个数据集上测试时？

主要发现

• 在 10 万张类似 ACDC 的合成图像上训练的 ENet，在 Sunnybrook 数据集上获得 0.853 的 Dice 分数，而使用真实 ACDC 数据训练时仅为 0.773，表明其在跨数据集泛化方面表现更优。
• 通过数据增强和微调，Sunnybrook 数据集上的 Dice 分数从仅使用真实数据的 0.776 提升至使用合成数据结合增强和微调的 0.874。
• 与仅使用真实数据的基线相比，使用合成数据并结合数据增强的模型在 Dice 分数上实现了 12% 的相对提升，最高比仅使用真实数据时高出 4%。
• 在泛化能力方面，合成数据优于真实数据，表现为在目标数据集上使用合成数据训练时 Dice 分数更高。
• VAE-GAN 框架成功生成了多样化且解剖学上有效的各种心脏形态，及其对应的逼真 MRI 图像，视觉质量与真实电影 MRI 相当。
• 合成数据与数据增强的结合在 ACDC 和 Sunnybrook 两个数据集上均带来一致的性能提升，最佳性能通过在合成预训练后对真实数据进行微调实现。