[论文解读] SAG-GAN: Semi-Supervised Attention-Guided GANs for Data Augmentation on Medical Images

Chang Qi, Junyang Chen+4 more|arXiv (Cornell University)|Nov 15, 2020

AI in cancer detection参考文献 29被引用 12

一句话总结

本文提出SAG-GAN，一种用于医学图像数据增强的半监督注意力引导生成对抗网络，通过循环一致性训练，能够从正常MRI扫描生成逼真的肿瘤图像，反之亦然。通过将对抗损失和像素级损失整合到注意力模块中，该模型提升了生成图像的保真度与鲁棒性，在有限的医学数据集上相比最先进方法显著提升了分类准确率与AUC值。

ABSTRACT

Recently deep learning methods, in particular, convolutional neural networks (CNNs), have led to a massive breakthrough in the range of computer vision. Also, the large-scale annotated dataset is the essential key to a successful training procedure. However, it is a huge challenge to get such datasets in the medical domain. Towards this, we present a data augmentation method for generating synthetic medical images using cycle-consistency Generative Adversarial Networks (GANs). We add semi-supervised attention modules to generate images with convincing details. We treat tumor images and normal images as two domains. The proposed GANs-based model can generate a tumor image from a normal image, and in turn, it can also generate a normal image from a tumor image. Furthermore, we show that generated medical images can be used for improving the performance of ResNet18 for medical image classification. Our model is applied to three limited datasets of tumor MRI images. We first generate MRI images on limited datasets, then we trained three popular classification models to get the best model for tumor classification. Finally, we train the classification model using real images with classic data augmentation methods and classification models using synthetic images. The classification results between those trained models showed that the proposed SAG-GAN data augmentation method can boost Accuracy and AUC compare with classic data augmentation methods. We believe the proposed data augmentation method can apply to other medical image domains, and improve the accuracy of computer-assisted diagnosis.

研究动机与目标

• 为解决标注医学图像数据集有限的问题，特别是针对肿瘤等罕见异常情况。
• 在不依赖人工病灶掩码的情况下，从正常MRI扫描中生成高保真、逼真的肿瘤图像。
• 通过使用合成生成图像扩充训练数据，提升深度学习模型在肿瘤分类任务中的性能。
• 在形状与大小多变的情况下，稳定生成对抗网络中的注意力映射，实现准确的肿瘤定位。
• 开发一种适用于其他医学影像领域中数据量有限场景的数据增强方法。

提出的方法

• 该模型采用基于CycleGAN的架构，包含两个生成器和两个判别器，以实现在正常与肿瘤MRI图像之间的图像到图像翻译。
• 在两个生成器和判别器中集成半监督注意力模块，通过对抗损失与像素级重建损失进行训练，以引导肿瘤区域的精确定位。
• 在判别器中应用谱归一化，以稳定训练过程并提升生成对抗网络的收敛性。
• 循环一致性损失确保将正常图像翻译为肿瘤图像后再反向翻译，能保留原始内容，从而保证结构一致性。
• 注意力机制以弱监督方式训练，学习突出肿瘤区域，而无需完整分割掩码。
• 通过在真实数据中加入SAG-GAN生成的合成图像，对ResNet18进行训练以评估该方法。

实验结果

研究问题

• RQ1 基于生成对抗网络的数据增强方法是否能在不依赖病灶掩码的情况下，从正常MRI扫描中生成逼真的肿瘤图像？
• RQ2 集成半监督注意力机制在多大程度上提升了生成肿瘤图像的保真度与定位准确性？
• RQ3 与传统数据增强方法及最先进生成对抗网络方法相比，SAG-GAN生成的数据在下游分类模型性能提升方面达到何种程度？
• RQ4 所提出方法是否保持了图像先验知识，避免在生成图像中引入伪影或假阳性？
• RQ5 该模型是否能在其他数据量有限的医学影像任务（如肿瘤分割）中实现泛化？

主要发现

• 与基线数据增强方法相比，SAG-GAN在小规模训练集（BraTS_S）上实现了25.51%的相对准确率提升。
• 在小规模训练集上，AUC值提升了32.27%，表明模型判别性能显著增强。
• 在完整BraTS数据集上，SAG-GAN实现了95.30%的准确率与0.9530的AUC，优于所有对比基线方法，包括CycleGAN与UAGGAN。
• 视觉检查确认，生成的肿瘤图像在纹理与解剖定位方面均与T1c加权MRI对比特征一致，表现出逼真性。
• 半监督注意力机制稳定了训练过程，并在肿瘤形状多变的情况下仍提升了定位准确性。
• 该方法成功生成了全尺寸240×240的MRI图像，克服了以往基于生成对抗网络方法在小尺寸（如32×32）输出上的局限。