[论文解读] Performance of GAN-based augmentation for deep learning COVID-19 image classification

Oleksandr Fedoruk, K. Klimaszewski+2 more|arXiv (Cornell University)|Apr 18, 2023

COVID-19 diagnosis using AI参考文献 51被引用 4

一句话总结

本研究评估了使用StyleGAN2-ADA进行基于生成对抗网络（GAN）的数据增强，以提升四类COVID-19胸部X光片（COVID-19、病毒性肺炎、细菌性肺炎、正常）的深度学习分类性能。尽管生成了高质量的合成图像，但GAN数据增强在性能上仍逊于传统数据增强和简单的类别平衡方法，且EfficientNet-B0在未进行数据增强的平衡数据集上已达到90.2%的准确率，表明对于该数据集，额外的GAN生成数据不仅未带来益处，反而可能降低性能。

ABSTRACT

The biggest challenge in the application of deep learning to the medical domain is the availability of training data. Data augmentation is a typical methodology used in machine learning when confronted with a limited data set. In a classical approach image transformations i.e. rotations, cropping and brightness changes are used. In this work, a StyleGAN2-ADA model of Generative Adversarial Networks is trained on the limited COVID-19 chest X-ray image set. After assessing the quality of generated images they are used to increase the training data set improving its balance between classes. We consider the multi-class classification problem of chest X-ray images including the COVID-19 positive class that hasn't been yet thoroughly explored in the literature. Results of transfer learning-based classification of COVID-19 chest X-ray images are presented. The performance of several deep convolutional neural network models is compared. The impact on the detection performance of classical image augmentations i.e. rotations, cropping, and brightness changes are studied. Furthermore, classical image augmentation is compared with GAN-based augmentation. The most accurate model is an EfficientNet-B0 with an accuracy of 90.2 percent, trained on a dataset with a simple class balancing. The GAN augmentation approach is found to be subpar to classical methods for the considered dataset.

研究动机与目标

• 为解决深度学习在COVID-19分类中受限于数据量小且类别不平衡的医学影像数据挑战。
• 探究基于GAN的数据增强是否在多类别COVID-19 X光片分类中，相较于传统增强方法能进一步提升性能。
• 通过多种图像相似性度量，验证GAN生成的合成X光片的质量与代表性。
• 比较多种深度学习模型（EfficientNet-B0、Inception-v3）在不同数据增强策略下的性能表现。
• 通过显著性图分析模型可解释性，评估模型是否学习到生物上合理的特征，或依赖于“捷径”学习。

提出的方法

• 在包含四类胸部X光片（COVID-19、病毒性肺炎、细菌性肺炎、正常）的有限且类别不平衡的数据集上，训练StyleGAN2-ADA模型以生成合成图像。
• 使用FID、RMSE、SRE和SSIM评估GAN生成图像的质量，比较类内与类间相似性分布。
• 应用传统数据增强（旋转、裁剪、亮度调整）并将其与基于GAN的增强在多种训练场景下进行对比。
• 在平衡数据集和增强数据集上，对两种迁移学习模型（EfficientNet-B0和Inception-v3）进行微调与评估。
• 使用Stuart-Maxwell检验评估不同增强策略下性能差异的统计显著性。
• 通过显著性图分析模型注意力，检测是否存在捷径学习现象，并评估注意力是否集中于肺部区域。

实验结果

研究问题

• RQ1 与传统数据增强和简单类别平衡相比，基于GAN的数据增强是否能提升多类别COVID-19 X光片分类中深度学习模型的性能？
• RQ2 基于FID和相似性度量，GAN生成的合成X光片在分布和质量上与真实图像的匹配程度如何？
• RQ3 在GAN增强中观察到的性能下降，是由于合成图像质量差，还是数据分布本身固有的限制所致？
• RQ4 在使用GAN增强数据训练的深度学习模型中，是否学习到了有意义的肺部注意力模式，还是依赖于虚假相关性？
• RQ5 显著性图能否证实模型关注的是生物上相关区域（如肺部），而非伪影或解剖结构（如横膈膜）？

主要发现

• 表现最佳的模型是未进行任何增强的平衡数据集上训练的EfficientNet-B0，准确率达到90.2%。
• 在所有评估的模型和指标中，基于GAN的增强始终表现逊于传统增强和简单类别平衡。
• 传统数据增强提升了Inception-v3的性能，但对已通过平衡数据达到高准确率的EfficientNet-B0未带来额外增益。
• 图像质量度量（FID、RMSE、SRE、SSIM）证实GAN生成的图像与真实图像高度相似，表明合成质量较高。
• 显著性图分析显示，模型主要关注肺部区域，尽管部分注意力也集中于非诊断区域（如横膈膜），表明捷径学习现象较轻微。
• 本研究发现，对于该特定数据集，GAN增强的复杂性并未转化为性能提升，表明在数据足够平衡的情况下，额外的合成数据可能并无益处。