[论文解读] Synthesizing Diverse Lung Nodules Wherever Massively: 3D Multi-Conditional GAN-based CT Image Augmentation for Object Detection

Changhee Han, Yoshiro Kitamura+7 more|arXiv (Cornell University)|Jan 19, 2019

Lung Cancer Diagnosis and Treatment参考文献 37被引用 20

一句话总结

本文提出一种3D多条件生成对抗网络（MCGAN），可在3D CT扫描中于指定位置、大小和衰减水平下合成逼真且多样的肺结节，以增强3D目标检测的训练数据。通过采用两个判别器——一个用于评估上下文真实性，另一个用于控制大小和衰减——MCGAN生成的结节在视觉图灵测试中与真实结节几乎无法区分，且在固定假阳性率下显著提升了所有结节尺寸和衰减水平下的检测敏感性。

ABSTRACT

Accurate Computer-Assisted Diagnosis, relying on large-scale annotated pathological images, can alleviate the risk of overlooking the diagnosis. Unfortunately, in medical imaging, most available datasets are small/fragmented. To tackle this, as a Data Augmentation (DA) method, 3D conditional Generative Adversarial Networks (GANs) can synthesize desired realistic/diverse 3D images as additional training data. However, no 3D conditional GAN-based DA approach exists for general bounding box-based 3D object detection, while it can locate disease areas with physicians’ minimum annotation cost, unlike rigorous 3D segmentation. Moreover, since lesions vary in position/size/attenuation, further GAN-based DA performance requires multiple conditions. Therefore, we propose 3D Multi-Conditional GAN (MCGAN) to generate realistic/diverse 32 × 32×32 nodules placed naturally on lung Computed Tomography images to boost sensitivity in 3D object detection. Our MCGAN adopts two discriminators for conditioning: the context discriminator learns to classify real vs synthetic nodule/surrounding pairs with noise box-centered surroundings; the nodule discriminator attempts to classify real vs synthetic nodules with size/attenuation conditions. The results show that 3D Convolutional Neural Network-based detection can achieve higher sensitivity under any nodule size/attenuation at fixed False Positive rates and overcome the medical data paucity with the MCGAN-generated realistic nodules—even expert physicians fail to distinguish them from the real ones in Visual Turing Test.

研究动机与目标

• 为解决训练鲁棒的3D目标检测器所面临的大型、多样化标注3D肺CT数据集稀缺问题。
• 开发一种3D条件生成对抗网络框架，可精确控制位置、大小和衰减水平，生成逼真的结节。
• 在不增加假阳性率的前提下，提升基于3D卷积神经网络的结节检测对所有结节特征的敏感性。
• 通过放射科专家和t-SNE可视化评估生成结节的真实性和分布保真度。
• 确定在医学影像中基于GAN的数据增强的最优数据增强比例和损失函数。

提出的方法

• MCGAN使用一个3D生成器网络，基于边界框掩码、大小和衰减值，合成32×32×32大小的结节。
• 采用两个判别器：上下文判别器用于评估真实与合成结节周围组织对的真假，结节判别器用于在特定大小和衰减条件下分类真实与合成结节。
• 生成器通过对抗性训练，使用GAN损失欺骗两个判别器，且不使用ℓ1重建损失以保留多样性。
• 通过在训练中以1:1比例混合真实与合成结节实现数据增强，以平衡分布影响。
• 通过两名放射科专家参与的视觉图灵测试验证真实性。
• 使用t-SNE可视化比较真实与合成结节的特征分布，以评估对真实数据流形的覆盖程度。

实验结果

研究问题

• RQ1 如何对3D GAN进行条件控制，以在3D CT扫描中自然地将多样化病理性结构（如结节）放置于期望的位置、大小和衰减水平，而无需完整分割？
• RQ2 在3D目标检测中，为最大化检测性能，真实与合成训练数据的最优平衡比是多少？
• RQ3 不同损失函数——尤其是不使用ℓ1损失——如何影响生成结节的真实感与多样性，以及下游检测性能？
• RQ4 专家放射科医生在多大程度上能将MCGAN生成的合成结节与真实结节区分开？
• RQ5 通过t-SNE分析，MCGAN生成的合成数据能否有效覆盖真实结节分布中此前未被代表的区域？

主要发现

• MCGAN生成的合成结节在专家放射科医生参与的视觉图灵测试中准确率达到79%，表明其与真实结节几乎无法区分。
• 在固定假阳性率下，所有结节尺寸和衰减类别中的检测敏感性均得到提升，其中大结节和低衰减结节的增益最为显著。
• 以1:1的真实与合成数据比例进行训练可获得最优检测性能，而过多的合成数据因分布失衡导致性能下降。
• 在GAN训练中移除ℓ1损失可提升检测敏感性，尽管像素级真实感略有降低，但显著增强了多样性。
• t-SNE可视化证实，尤其是未使用ℓ1损失训练的合成结节，其分布与真实结节具有中等相似性，并覆盖了真实数据流形中此前未被充分代表的区域。
• MCGAN成功生成了能自然融入周围肺组织的结节，即使周围组织未被显式分割，也实现了对基于边界框检测的逼真数据增强。