[论文解读] Synthesizing lesions using contextual GANs improves breast cancer classification on mammograms

Eric Hsiao‐Kuang Wu, Kevin Wu+1 more|arXiv (Cornell University)|May 29, 2020

AI in cancer detection参考文献 20被引用 16

一句话总结

本文提出一种基于上下文的 GAN 数据增强方法，通过在乳腺X线图像中合成或移除乳腺病变来解决数据稀缺和类别不平衡问题。采用带有自注意力机制和半监督学习的 U-Net 架构，模型生成了高分辨率（256×256px）的合成病变，显著提升了恶性肿瘤分类性能，AUC 达到 0.846，远高于仅使用真实数据的基线值 0.829。

ABSTRACT

Data scarcity and class imbalance are two fundamental challenges in many machine learning applications to healthcare. Breast cancer classification in mammography exemplifies these challenges, with a malignancy rate of around 0.5% in a screening population, which is compounded by the relatively small size of lesions (~1% of the image) in malignant cases. Simultaneously, the prevalence of screening mammography creates a potential abundance of non-cancer exams to use for training. Altogether, these characteristics lead to overfitting on cancer cases, while under-utilizing non-cancer data. Here, we present a novel generative adversarial network (GAN) model for data augmentation that can realistically synthesize and remove lesions on mammograms. With self-attention and semi-supervised learning components, the U-net-based architecture can generate high resolution (256x256px) outputs, as necessary for mammography. When augmenting the original training set with the GAN-generated samples, we find a significant improvement in malignancy classification performance on a test set of real mammogram patches. Overall, the empirical results of our algorithm and the relevance to other medical imaging paradigms point to potentially fruitful further applications.

研究动机与目标

• 为解决乳腺癌分类中数据稀缺及严重类别不平衡问题，其中恶性程度患病率约为 0.5%。
• 开发一种生成模型，利用周围组织的上下文信息，逼真地合成或移除乳腺X线图像块中的病变。
• 通过在训练集中加入 GAN 生成的图像块，提升在真实测试数据上的分类性能。
• 通过特征空间分析验证合成病变与真实病变在语义上的一致性。
• 探索该方法在其他具有类似数据限制的医学影像领域中的泛化能力。

提出的方法

• 基于 U-Net 的生成器通过跳跃连接编码输入的乳腺X线图像块，并利用从周围组织学习到的上下文先验，生成或移除病变。
• 在 32×32 空间分辨率处引入自注意力模块，以建模长距离依赖关系，改善病变定位。
• 通过随机标量噪声注入（z-向量）实现半监督学习，使单一输入图像能够生成多样化病变。
• 判别器使用最大池化而非步幅卷积，且每层滤波器数量是生成器的八倍，以提升训练稳定性。
• 为肿块、钙化灶和病变移除分别训练独立模型，发现条件监督的稳定性低于训练独立模型。
• 以递减的合成数据与真实数据比例将合成图像块加入训练集，以模拟微调过程，提升泛化能力。

实验结果

研究问题

• RQ1 上下文感知 GAN 是否能够生成逼真的乳腺X线图像病变，并提升下游分类性能？
• RQ2 使用 GAN 合成的病变进行数据增强，是否能减少过拟合并提升在真实测试数据上的泛化能力？
• RQ3 在训练好的分类器潜在空间中，合成病变的特征嵌入与真实病变的特征嵌入相比如何？
• RQ4 为最大化分类 AUC，合成数据与真实数据的最优初始比例是多少？
• RQ5 即使仅在真实数据上进行训练，模型是否仍能生成与真实恶性发现语义一致的病变？

主要发现

• GAN 增强的训练策略在真实测试图像块上实现了 0.846 的 AUC，显著高于仅使用真实数据的基线值 0.829（p < 1e-8）。
• 在初始合成数据比例为 50% 时性能最高，超过该阈值后性能开始下降。
• t-SNE 可视化显示，合成的肿块和钙化图像块在 ResNet-50 分类器的特征空间中与真实恶性图像块聚类紧密。
• 在 GAN 增强训练后，此前被错误分类为假阴性的真实样本被正确分类，表明决策边界学习得到改善。
• 模型成功生成了具有逼真病变形态和空间上下文的高分辨率（256×256px）乳腺X线图像块。
• 该方法表明，未被充分利用的非癌性乳腺X线图像可有效通过逼真的病变合成用于数据增强。