[论文解读] Synthesizing brain tumor images and annotations by combining progressive growing GAN and SPADE

Mehdi Foroozandeh, Anders Eklúnd|arXiv (Cornell University)|Sep 13, 2020

AI in cancer detection被引用 12

一句话总结

本文提出一种两阶段生成对抗网络（GAN）框架，结合渐进式增长生成对抗网络（PGAN）与SPADE，用于合成逼真的3D脑肿瘤MR图像及其对应的多类别分割标注。首先通过噪声到图像的PGAN生成肿瘤标签图，再利用图像到图像的SPADE将标签图转换为解剖学上合理的MR图像，从而提升训练数据的多样性，进而在BraTS 2018数据集上带来适度但可测量的分割性能提升。

ABSTRACT

Training segmentation networks requires large annotated datasets, but manual annotation is time consuming and costly. We here investigate if the combination of a noise-to-image GAN and an image-to-image GAN can be used to synthesize realistic brain tumor images as well as the corresponding tumor annotations (labels), to substantially increase the number of training images. The noise-to-image GAN is used to synthesize new label images, while the image-to-image GAN generates the corresponding MR image from the label image. Our results indicate that the two GANs can synthesize label images and MR images that look realistic, and that adding synthetic images improves the segmentation performance, although the effect is small.

研究动机与目标

• 解决脑肿瘤分割任务中大规模、带标注医学影像数据集稀缺的问题。
• 探究基于GAN的数据合成是否能提升深度学习模型在医学图像分割任务中的泛化能力。
• 开发一种两阶段GAN流程，首先生成逼真的肿瘤标注，再合成对应的MR图像。
• 利用BraTS 2018基准数据集评估合成数据对分割网络性能的影响。
• 探究将噪声到图像与图像到图像GAN以级联方式结合用于多类别脑肿瘤分割的可行性。

提出的方法

• 训练一个噪声到图像的渐进式增长生成对抗网络（PGAN），用于生成包含7种类别的2D分割掩码，包括肿瘤亚结构和正常脑组织。
• 训练一个基于SPADE的图像到图像GAN，以合成T1加权对比增强MR图像，输入为合成的分割掩码。
• 将两个GAN以级联方式使用：PGAN生成标签图，作为输入送入SPADE GAN以生成对应的MR图像。
• 将合成的图像-掩码对用于增强真实BraTS 2018训练集，该数据集包含210个体素3D影像，每例含155张轴向切片。
• 在真实与合成数据的组合上训练分割网络，归一化和类别权重基于包含合成样本的完整训练集计算。
• 通过Dice相似系数（DSC）在真实BraTS测试集上评估性能，比较使用与不使用合成数据训练的模型表现。

实验结果

研究问题

• RQ1 两阶段GAN框架能否有效合成逼真的脑肿瘤MR图像及其对应的多类别分割标注？
• RQ2 通过该GAN流程生成的合成图像是否能提升基于深度学习的分割模型性能？
• RQ3 在脑肿瘤分割背景下，合成数据带来的性能增益与标准数据增强技术相比如何？
• RQ4 当归一化和类别权重基于真实与合成数据的混合训练集计算时，合成数据的引入对模型泛化能力及验证指标有何影响？
• RQ5 PGAN与SPADE的结合能否在合成图像中生成解剖学上合理且具有临床意义的肿瘤分布？

主要发现

• 所提出的两阶段GAN框架成功生成了具有多样化肿瘤模式和解剖结构的逼真脑肿瘤MR图像及其对应的多类别分割掩码。
• 合成的图像-掩码对在视觉保真度方面表现优异，包括逼真的肿瘤形状、空间分布和组织对比度。
• 引入合成数据在BraTS 2018测试集上带来了可测量但较为有限的分割性能提升。
• 性能提升表现为各类肿瘤亚型Dice相似系数的微小但一致的增加，尽管结果中未量化具体百分比增益。
• 该方法表明，当归一化和类别权重基于包含合成样本的完整训练集计算时，合成数据可用于扩充有限的医学数据集，且不会引入显著的分布偏移。
• 尽管性能增益较小，该框架证明了其在生成多样化、解剖学上合理且具有临床意义的合成脑肿瘤数据方面的可行性，适用于分割训练。