[论文解读] Utilizing Synthetic Data for Medical Vision-Language Pre-training: Bypassing the Need for Real Images

Che Liu, Anand Shah+2 more|arXiv (Cornell University)|Oct 10, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本论文提出仅使用从真实放射科报告生成的合成胸部X光图像进行医学视觉-语言模型训练，采用领域特定的扩散模型，结果表明性能在分类、分割和检测任务中与使用真实图像预训练的模型相当或更优。关键贡献在于构建了一个大规模的合成医学图像数据集，并配以匿名化报告，实现了无需真实医学图像的隐私保护、可扩展的预训练。

ABSTRACT

Medical Vision-Language Pre-training (VLP) learns representations jointly from medical images and paired radiology reports. It typically requires large-scale paired image-text datasets to achieve effective pre-training for both the image encoder and text encoder. The advent of text-guided generative models raises a compelling question: Can VLP be implemented solely with synthetic images generated from genuine radiology reports, thereby mitigating the need for extensively pairing and curating image-text datasets? In this work, we scrutinize this very question by examining the feasibility and effectiveness of employing synthetic images for medical VLP. We replace real medical images with their synthetic equivalents, generated from authentic medical reports. Utilizing three state-of-the-art VLP algorithms, we exclusively train on these synthetic samples. Our empirical evaluation across three subsequent tasks, namely image classification, semantic segmentation and object detection, reveals that the performance achieved through synthetic data is on par with or even exceeds that obtained with real images. As a pioneering contribution to this domain, we introduce a large-scale synthetic medical image dataset, paired with anonymized real radiology reports. This alleviates the need of sharing medical images, which are not easy to curate and share in practice. The code and the dataset can be found in \href{https://github.com/cheliu-computation/MedSyn-RepLearn/tree/main}{https://github.com/cheliu-computation/MedSyn-RepLearn/tree/main}.

研究动机与目标

• 探究是否可以仅使用从真实放射科报告生成的合成医学图像来有效执行医学视觉-语言预训练（VLP），从而无需真实配对图像。
• 通过生成保留临床语义的高保真度合成图像，解决医学VLP中数据稀缺与隐私问题这一关键挑战。
• 评估在合成数据上预训练的VLP模型在多个下游任务中的性能，包括图像分类、语义分割和目标检测。
• 提出一个大规模、公开可用的合成医学图像数据集，并配以匿名化的真实放射科报告，以支持未来研究。
• 比较通用领域（Stable Diffusion）与医学领域专用（RoentGen）生成模型在支持VLP方面的有效性。

提出的方法

• 使用两种模型进行文本引导图像生成：Stable Diffusion 2.1（通用领域）和RoentGen（医学领域专用），以放射科报告的结论部分作为提示词。
• 合成图像以512×512分辨率生成，采用50次采样步数和固定随机种子，以确保一致性及与报告的一一对应关系。
• 采用三种先进的VLP框架（ConVIRT、GLoRIA和MGCA）进行视觉-语言对比预训练，所有模型均仅在合成图像与真实文本配对数据上训练。
• 预训练采用对比学习目标，对齐图像和文本嵌入，图像编码器与文本编码器联合优化。
• 在三个下游任务上进行评估：图像分类（SIIM-ACR）、语义分割（RSNA）和目标检测（RSNA和Object-CXR），分别使用1%、10%和100%的训练数据。
• 性能与在真实图像上预训练的基线模型以及在两种生成模型生成的合成图像上预训练的模型进行比较，评估指标包括Dice分数和mAP。

Figure 1: A) Conventional VLP pipeline with real image-text pair. B) Our VLP framework with synthetic image and real medical text. We select SD 2.1 and RoentGen [ 18 ] as the generator in this work.

实验结果

研究问题

• RQ1 是否可以仅使用从真实放射科报告生成的合成医学图像来有效执行视觉-语言预训练，而无需真实配对图像？
• RQ2 在通用领域扩散模型（Stable Diffusion）生成的合成图像上训练的VLP模型，其性能与在真实图像上训练的模型或在领域专用合成数据上训练的模型相比如何？
• RQ3 使用医学领域专用生成模型（RoentGen）在多大程度上提升了合成图像的质量与下游医学视觉任务的实用性？
• RQ4 合成数据是否能够在缓解医学VLP中的数据稀缺与隐私问题的同时，保持或提升模型性能？
• RQ5 合成数据对医学视觉任务中零样本和少样本泛化能力有何影响？

主要发现

• 仅在RoentGen生成的合成图像上预训练的VLP模型，在所有下游任务中的性能与在真实图像上预训练的模型相当或更优。
• 在SIIM-ACR分类任务中，ConVIRT(RoentGen)在100%数据下达到61.2%的Dice分数，优于真实图像基线（59.9%），提升1.3个百分点。
• 在RSNA分割任务中，GLoRIA(RoentGen)达到69.8%的Dice分数，超过真实图像基线（68.3%）1.5分。
• 在RSNA目标检测任务中，MGCA(RoentGen)在100%数据下达到25.3%的mAP，超过真实图像基线（24.9%）0.4分。
• 相比之下，在Stable Diffusion（SD）生成的合成图像上预训练的模型表现出持续性能下降，ConVIRT(SD)在SIIM任务中100%数据下的Dice分数下降12.6个百分点。
• 本研究首次发布了大规模合成CXR数据集，并配以匿名化的真实放射科报告，论文被接受后将公开发布，支持隐私保护型研究。

Figure 2: The synthetic samples images generated from real radiology report from SD 2.1 and RoentGen.