[论文解读] XRayGAN: Consistency-preserving Generation of X-ray Images from Radiology Reports

Xingyi Yang, Nandiraju Gireesh+2 more|arXiv (Cornell University)|Jun 17, 2020

Multimodal Machine Learning Applications参考文献 35被引用 4

一句话总结

XRayGAN 使用视图一致性网络、多尺度渐进式 GAN 和分层注意力编码器，从放射科报告生成视图一致、高分辨率且高保真的 X 射线图像。其在图像质量和临床一致性方面优于基线模型，为医学图像生成从临床文本生成设立了新基准。

ABSTRACT

To effectively train medical students to become qualified radiologists, a large number of X-ray images collected from patients with diverse medical conditions are needed. However, due to data privacy concerns, such images are typically difficult to obtain. To address this problem, we develop methods to generate view-consistent, high-fidelity, and high-resolution X-ray images from radiology reports to facilitate radiology training of medical students. This task is presented with several challenges. First, from a single report, images with different views (e.g., frontal, lateral) need to be generated. How to ensure consistency of these images (i.e., make sure they are about the same patient)? Second, X-ray images are required to have high resolution. Otherwise, many details of diseases would be lost. How to generate high-resolutions images? Third, radiology reports are long and have complicated structure. How to effectively understand their semantics to generate high-fidelity images that accurately reflect the contents of the reports? To address these three challenges, we propose an XRayGAN composed of three modules: (1) a view consistency network that maximizes the consistency between generated frontal-view and lateral-view images; (2) a multi-scale conditional GAN that progressively generates a cascade of images with increasing resolution; (3) a hierarchical attentional encoder that learns the latent semantics of a radiology report by capturing its hierarchical linguistic structure and various levels of clinical importance of words and sentences. Experiments on two radiology datasets demonstrate the effectiveness of our methods. To our best knowledge, this work represents the first one generating consistent and high-resolution X-ray images from radiology reports. The code is available at https://github.com/UCSD-AI4H/XRayGAN.

研究动机与目标

• 为解决因数据隐私限制导致的多样化、高质量 X 射线图像稀缺问题。
• 从单一放射科报告生成临床上一致的前后位和侧位 X 射线图像。
• 生成能准确反映报告中复杂临床发现的高分辨率、高保真 X 射线图像。
• 建模放射科报告中词语和句子的分层语言结构及临床重要性。
• 为医学影像中的文本到图像生成建立新基准，特别针对 X 射线合成。

提出的方法

• 在真实配对的前后位和侧位 X 射线图像上训练视图一致性网络（VCN），以确保生成的图像反映同一患者。
• 采用多尺度条件 GAN 逐步生成高分辨率 X 射线图像，从低分辨率输出开始，分阶段优化。
• 使用词级和句级 LSTM 搭配注意力机制的分层注意力编码器，建模放射科报告中的语义层次和临床相关性。
• 生成器基于报告的潜在表示进行条件生成，VCN 损失用于促进前后位和侧位视图之间的一致性。
• 在 GAN 训练过程中将 VCN 作为正则化器集成，以促进解剖结构的一致性。
• 该模型在两个放射科数据集上进行训练和评估，图像保真度和一致性方面均取得性能提升。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否从单一放射科报告生成视图一致的前后位和侧位 X 射线图像？
• RQ2 如何从长而复杂的放射科报告中生成高分辨率、高保真的 X 射线图像？
• RQ3 分层注意力机制在多大程度上能提升报告语义与生成图像内容之间的对齐？
• RQ4 引入视图一致性网络在多大程度上提升了生成 X 射线图像的临床合理性？
• RQ5 所提出的方法能否在生成临床准确的 X 射线图像方面超越现有文本到图像生成模型？

主要发现

• XRayGAN 生成的前后位和侧位 X 射线图像在视觉上保持一致，肺部和肋骨等解剖结构清晰可辨。
• 与 GAN-INT-CLS、StackGAN 和 AttnGAN 等基线模型相比，该方法在图像清晰度方面表现更优，XRayGAN 生成的肋骨轮廓更清晰，病灶表现更准确。
• XRayGAN 生成的图像正确反映了报告中描述的临床发现，如右上肺叶不透明和左后第五根肋骨异常，经视觉检查确认无误。
• 视图一致性网络显著提升了图像一致性，而基线模型无法保持前后位与侧位视图之间的对齐。
• 多尺度渐进式 GAN 设计相比单阶段 GAN，实现了更高分辨率的图像生成，并提升了图像保真度。
• 在两个数据集上的定量评估表明，XRayGAN 在图像质量和一致性方面达到最先进水平，FID 和 Inception Score 指标均表现优异。