[论文解读] Vision-Language Generative Model for View-Specific Chest X-ray Generation

Hyungyung Lee, Lee, Da Young+6 more|arXiv (Cornell University)|Feb 23, 2023

AI in cancer detection被引用 5

一句话总结

UniXGen 是一种统一的视觉-语言模型，通过使用离散视觉标记和特殊视图控制标记，生成特定视图的胸部 X 光片和放射科报告。它通过利用多视图输入和基于 Performer 的高效架构，在图像和报告生成方面均达到最先进性能，其在 FID、BLEU 和 CheXpert 指标上的表现优于包括微调后的 Stable Diffusion 在内的基线模型。

ABSTRACT

Synthetic medical data generation has opened up new possibilities in the healthcare domain, offering a powerful tool for simulating clinical scenarios, enhancing diagnostic and treatment quality, gaining granular medical knowledge, and accelerating the development of unbiased algorithms. In this context, we present a novel approach called ViewXGen, designed to overcome the limitations of existing methods that rely on general domain pipelines using only radiology reports to generate frontal-view chest X-rays. Our approach takes into consideration the diverse view positions found in the dataset, enabling the generation of chest X-rays with specific views, which marks a significant advancement in the field. To achieve this, we introduce a set of specially designed tokens for each view position, tailoring the generation process to the user's preferences. Furthermore, we leverage multi-view chest X-rays as input, incorporating valuable information from different views within the same study. This integration rectifies potential errors and contributes to faithfully capturing abnormal findings in chest X-ray generation. To validate the effectiveness of our approach, we conducted statistical analyses, evaluating its performance in a clinical efficacy metric on the MIMIC-CXR dataset. Also, human evaluation demonstrates the remarkable capabilities of ViewXGen, particularly in producing realistic view-specific X-rays that closely resemble the original images.

研究动机与目标

• 通过生成高保真度的合成胸部 X 光片和报告，解决真实医学影像数据稀缺和隐私限制问题。
• 将前后向胸部 X 光片与放射科报告生成统一到单一模型中，降低架构复杂度和训练开销。
• 即使在训练数据中缺少目标视图，也能通过专用的特殊标记实现特定视图的 X 光片生成。
• 通过利用多视图 X 光片输入捕捉不同视图间的互补解剖学发现，提升生成质量。
• 开发一种计算高效的模型，利用高效的 Transformer（Performer）架构，处理高分辨率图像和长文本报告。

提出的方法

• 使用基于 VQ-GAN 的图像分词器将胸部 X 光片离散化为离散视觉标记，使图像和报告生成均可进行序列建模。
• 将 X 光片和报告生成均视为使用统一 Transformer 架构的自回归序列生成任务。
• 引入特定视图的特殊标记（如前后位、前后斜位、侧位等），即使在训练数据中不存在目标视图，也能通过这些标记控制生成所需视图类型。
• 采用基于 Performer 的 Transformer 架构，以降低计算成本，高效处理长输入序列（高分辨率图像和长报告）。
• 支持灵活的输入格式，可接受单视图或多视图输入，并在生成过程中动态融合多视图特征。
• 使用对比学习和自回归损失端到端联合训练统一模型，以对齐图像和报告的生成过程。

实验结果

研究问题

• RQ1 统一的视觉-语言模型是否能在单一架构中有效生成特定视图的胸部 X 光片和放射科报告？
• RQ2 特定视图的特殊标记在多大程度上提升了生成 X 光片的保真度和解剖学正确性？
• RQ3 与单视图输入相比，多视图输入在生成 X 光片和报告的质量与临床准确性方面有何影响？
• RQ4 在相同的训练设置下，统一模型是否在图像和报告生成方面均优于专用任务模型？
• RQ5 当仅以放射科报告为条件且无任何图像输入时，该模型是否仍能生成具有临床合理性和真实感的 X 光片和报告？

主要发现

• UniXGen 在胸部 X 光片生成中取得 18.994 的 Fréchet Inception Distance (FID)，显著优于微调后的 Stable Diffusion（FID 78.857）。
• 模型在 CheXpert 指标上的 14 种疾病分类 F1 得分为 0.396，AUROC 达 0.728，优于基线模型。
• 人工评估确认，UniXGen 生成的 X 光片在真实感（4.193/5）和与报告的一致性（3.583/5）方面与原始图像相当，且在生成正确视图位置方面达到 100% 成功率。
• 多视图输入可提升生成质量：当增加额外视图时，FID 从 18.994 降至 10.436，F1 从 0.396 提升至 0.416。
• 特定视图的特殊标记可成功生成前后位、前后斜位和侧位的正确解剖结构特征，即使目标视图在训练数据中不存在。
• 定性示例显示，多视图输入使模型能够更准确地生成病灶（如大量胸腔积液）的表征，而仅使用报告时则可能遗漏这些特征。