[论文解读] X2CT-GAN: Reconstructing CT from Biplanar X-Rays with Generative Adversarial Networks

Xingde Ying, Heng Guo+4 more|arXiv (Cornell University)|May 16, 2019

Medical Imaging Techniques and Applications参考文献 38被引用 24

一句话总结

本文提出X2CT-GAN，一种生成对抗网络，通过两种正交的2D X射线投影重建3D CT容积，采用新颖的3D到2D特征融合机制和跳跃连接模块以提高解剖结构保真度。该方法在双平面X射线上的峰值信噪比（PSNR）达到26.19 dB，显著优于单视角和非GAN基线模型，证明了其在临床特定场景中实现低成本、低辐射3D成像的可行性。

ABSTRACT

Computed tomography (CT) can provide a 3D view of the patient's internal organs, facilitating disease diagnosis, but it incurs more radiation dose to a patient and a CT scanner is much more cost prohibitive than an X-ray machine too. Traditional CT reconstruction methods require hundreds of X-ray projections through a full rotational scan of the body, which cannot be performed on a typical X-ray machine. In this work, we propose to reconstruct CT from two orthogonal X-rays using the generative adversarial network (GAN) framework. A specially designed generator network is exploited to increase data dimension from 2D (X-rays) to 3D (CT), which is not addressed in previous research of GAN. A novel feature fusion method is proposed to combine information from two X-rays.The mean squared error (MSE) loss and adversarial loss are combined to train the generator, resulting in a high-quality CT volume both visually and quantitatively. Extensive experiments on a publicly available chest CT dataset demonstrate the effectiveness of the proposed method. It could be a nice enhancement of a low-cost X-ray machine to provide physicians a CT-like 3D volume in several niche applications.

研究动机与目标

• 为解决仅从两个正交X射线投影重建3D CT容积的挑战，这些投影数据不足以支持传统CT重建方法。
• 通过利用深度学习和大规模训练数据集中的解剖先验知识，克服将2D X射线映射到3D CT时存在的严重歧义性。
• 开发一种基于生成对抗网络（GAN）的框架，能够实现从2D输入到3D输出的数据维度提升，填补了先前GAN研究中未解决的这一空白。
• 通过新颖的特征融合模块，融合来自前后位和侧位X射线视图的互补信息，提升重建质量。
• 通过生成具有诊断实用价值的CT样3D容积，使低成本X射线设备在临床中具备实际应用潜力，支持器官测量和治疗计划制定。

提出的方法

• 设计了一种定制的生成器网络，将2D X射线输入上采样为3D CT容积，明确处理从2D到3D的维度增加问题。
• 提出一种新颖的特征融合模块，将前后位和侧位X射线视图的特征进行融合，以利用互补的解剖信息。
• 引入跳跃连接模块，连接2D与3D特征图，改善梯度流动并增强跨模态的特征保留能力。
• 采用混合损失函数进行模型训练：使用均方误差（MSE）保证重建保真度，对抗损失提升生成结果的真实感，投影损失确保生成结果与X射线投影的一致性。
• 利用公开的胸部CT数据集，通过数字重建放射照相（DRR）生成合成X射线对，并应用CycleGAN将真实X射线的风格迁移至合成数据。
• 通过在输入X射线上条件化判别器，实现条件生成对抗网络（conditional GAN）训练，提升生成CT容积的真实感和解剖准确性。

实验结果

研究问题

• RQ1 深度生成模型能否在逆问题固有的歧义性下，仅从两个正交的2D X射线投影中重建出高质量的3D CT容积？
• RQ2 与单视角X射线输入相比，双平面X射线输入在3D CT重建质量与解剖准确性方面表现如何？
• RQ3 当在合成数据上进行训练并在真实世界X射线数据上测试时，基于GAN的框架能否有效学习从2D X射线到3D CT的映射？
• RQ4 哪些架构组件——如特征融合、跳跃连接和损失函数——对提升重建保真度与真实感最为关键？
• RQ5 生成的CT容积在多大程度上可支持临床任务，如器官尺寸测量与放射治疗计划制定？

主要发现

• X2CT-GAN在双平面X射线输入上实现了26.19 dB的PSNR，较单视角X射线重建高出4 dB，证明了双视角输入的优势。
• 所提出的特征融合与跳跃连接模块显著提升了重建质量，即使在无跳跃连接的情况下，双平面输入仍优于单视角输入。
• 结合MSE、对抗损失与投影损失的完整GAN框架表现最佳，优于仅使用对抗损失或重建损失的模型。
• 在真实X射线上的定性评估显示，肺部和表面结构的3D重建结果合理，关键区域具有高度解剖保真度。
• 尽管模型在合成X射线数据上进行训练，但其在真实世界数据上表现出良好的泛化能力，结合CycleGAN风格迁移后，对领域偏移具有较强鲁棒性。
• 该方法可实现低成本X射线系统生成临床可用的3D可视化结果，支持器官测量、术前规划与剂量规划等应用。