[论文解读] Red-GAN: Attacking class imbalance via conditioned generation. Yet another medical imaging perspective

Ahmad Bin Qasim, Ivan Ezhov+8 more|arXiv (Cornell University)|Apr 22, 2020

Digital Media Forensic Detection被引用 33

一句话总结

Red-GAN 提出了一种用于医学图像数据增强的条件生成对抗网络，该网络同时基于像素级分割掩码和全局属性（例如病变类型或扫描协议）进行条件控制，从而缓解类别不平衡问题。通过在对抗训练中集成一个被动分割器，该方法生成了逼真且具有类别特异性的图像，显著提升了 BraTS 和 ISIC 数据集上的分割准确率。

ABSTRACT

Exploiting learning algorithms under scarce data regimes is a limitation and a reality of the medical imaging field. In an attempt to mitigate the problem, we propose a data augmentation protocol based on generative adversarial networks. We condition the networks at a pixel-level (segmentation mask) and at a global-level information (acquisition environment or lesion type). Such conditioning provides immediate access to the image-label pairs while controlling global class specific appearance of the synthesized images. To stimulate synthesis of the features relevant for the segmentation task, an additional passive player in a form of segmentor is introduced into the adversarial game. We validate the approach on two medical datasets: BraTS, ISIC. By controlling the class distribution through injection of synthetic images into the training set we achieve control over the accuracy levels of the datasets' classes.

研究动机与目标

• 解决真实样本有限的医学图像数据集中存在的类别不平衡问题。
• 开发一种能够保留类别特异性图像特征的数据增强策略。
• 在低数据环境下提升分割模型对少数类别的性能表现。
• 将被动分割器集成到 GAN 训练过程中，以指导生成特征与分割的相关性。
• 在真实世界医学影像基准数据集 BraTS 和 ISIC 上验证该方法的有效性。

提出的方法

• Red-GAN 采用具有双重条件控制的条件生成对抗网络框架：像素级（分割掩码）和全局级（例如病变类型或采集协议）。
• 生成器在同时接收分割掩码和全局属性的条件下生成图像，以确保生成图像具有类别特异性的外观特征。
• 引入一个被动分割器作为对抗训练中的第二个参与者，以引导生成器生成对分割任务更具相关性的特征。
• 生成器与判别器通过对抗方式联合训练，而分割器仅提供反馈信息，其参数不进行更新。
• 将合成图像注入训练集，以重新平衡类别分布并提升模型的泛化能力。
• 该方法在 BraTS（脑肿瘤分割）和 ISIC（皮肤病变分类）数据集上进行了评估。

实验结果

研究问题

• RQ1 在类别不平衡条件下，具有双重条件控制的条件生成对抗网络能否提升医学图像分割任务的数据效率？
• RQ2 引入被动分割器在多大程度上提升了生成图像的质量及其与分割任务的相关性？
• RQ3 通过注入合成数据，能在多大程度上缓解医学图像中少数类别性能下降的问题？
• RQ4 全局级条件控制（例如病变类型）是否能有效保留生成样本中的类别特异性图像特征？
• RQ5 该方法是否能在神经影像学与皮肤病学等不同医学影像领域之间实现良好泛化？

主要发现

• Red-GAN 通过生成逼真且具有类别特异性的图像，成功缓解了类别不平衡问题，且生成图像分布与目标分布高度匹配。
• 被动分割器的引入显著提升了生成特征与分割任务的相关性。
• 合成图像的注入显著提升了分割准确率，尤其在低频类别上表现更为突出。
• 该方法在 BraTS 和 ISIC 两个数据集上均实现了稳定且一致的性能提升，证明了其跨领域适用性。
• 通过双重条件控制实现的可控生成，可在不损害图像保真度或诊断相关性的情况下实现针对性增强。
• 与基线数据增强策略相比，该方法在少数类别上的分割 F1 分数表现更优。