[论文解读] Spot the fake lungs: Generating Synthetic Medical Images using Neural Diffusion Models

Hazrat Ali, Shafaq Murad+1 more|arXiv (Cornell University)|Nov 2, 2022

AI in cancer detection被引用 7

一句话总结

本研究探讨了神经扩散模型在生成合成肺部X光片和CT影像中的应用，表明微调后的稳定扩散模型可生成放射科医生难以与真实医学扫描区分的图像。尽管部分图像因解剖结构不一致被标记为虚假，但仍有部分图像被正确识别为真实，显示出扩散模型在医学影像合成方面的巨大潜力。

ABSTRACT

Generative models are becoming popular for the synthesis of medical images. Recently, neural diffusion models have demonstrated the potential to generate photo-realistic images of objects. However, their potential to generate medical images is not explored yet. In this work, we explore the possibilities of synthesis of medical images using neural diffusion models. First, we use a pre-trained DALLE2 model to generate lungs X-Ray and CT images from an input text prompt. Second, we train a stable diffusion model with 3165 X-Ray images and generate synthetic images. We evaluate the synthetic image data through a qualitative analysis where two independent radiologists label randomly chosen samples from the generated data as real, fake, or unsure. Results demonstrate that images generated with the diffusion model can translate characteristics that are otherwise very specific to certain medical conditions in chest X-Ray or CT images. Careful tuning of the model can be very promising. To the best of our knowledge, this is the first attempt to generate lungs X-Ray and CT images using neural diffusion models. This work aims to introduce a new dimension in artificial intelligence for medical imaging. Given that this is a new topic, the paper will serve as an introduction and motivation for the research community to explore the potential of diffusion models for medical image synthesis. We have released the synthetic images on https://www.kaggle.com/datasets/hazrat/awesomelungs.

研究动机与目标

• 探讨使用神经扩散模型生成肺部医学影像的可行性。
• 通过放射科医生评估，评估生成的X光片和CT影像的逼真度与诊断合理性。
• 探索扩散模型作为医学影像数据增强工具的潜力，尤其针对罕见疾病。
• 识别生成数据中的关键局限性和偏差，以指导未来模型开发。

提出的方法

• 在3,165张真实肺部X光片数据集上微调稳定扩散模型，以生成合成图像。
• 使用预训练的DALL-E 2模型通过文本提示生成图像，作为对比。
• 通过去噪自编码器式过程训练扩散模型，学习逆转在图像中添加高斯噪声的前向扩散过程。
• 通过两名独立放射科医生的定性评估对生成图像进行评价，分类为真实、虚假或不确定。
• 应用条件生成技术，基于潜在表征和文本提示引导图像生成。
• 采用两阶段流程：前向扩散（数据到噪声）和反向去噪（噪声到数据），神经网络学习反向转换过程。

实验结果

研究问题

• RQ1 神经扩散模型能否生成在视觉上逼真且具有诊断合理性的合成肺部X光片和CT影像？
• RQ2 在盲评中，放射科医生如何区分真实与合成医学影像？
• RQ3 在生成的影像中，哪些解剖特征最易被放射科医生识别为虚假？
• RQ4 生成的影像在多大程度上能反映特定病理状况，如肺炎或胸腔积液？
• RQ5 扩散生成的医学影像中存在哪些关键局限性和偏差？

主要发现

• 放射科医生正确识别出14张X光片和3张CT影像为真实图像，表明部分合成图像与真实医学扫描极为相似。
• 大量CT影像（20张中的17张）至少被一名放射科医生标记为虚假，表明生成逼真CT解剖结构更具挑战性。
• X光片中气管出现在心脏阴影后方是放射科医生识别虚假图像的关键指标。
• 部分生成图像被放射科医生描述为显示肺炎或胸腔积液的迹象，表明模型已学会生成与疾病相关的特征。
• 模型在细小解剖细节（如肋骨和锁骨外观）方面表现不佳，这些特征常被用作识别合成图像的依据。
• 尽管存在局限性，结果表明扩散模型能够学习复杂的肺部病理表征，并生成具有诊断合理性的图像。