[论文解读] SdCT-GAN: Reconstructing CT from Biplanar X-Rays with Self-driven Generative Adversarial Networks

Shuangqin Cheng, Qingliang Chen+5 more|arXiv (Cornell University)|Sep 10, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出SdCT-GAN，一种自驱动生成对抗网络，通过集成Sobel梯度引导器的边缘感知特征学习与新型自编码器判别器，从两组正交的双平面X射线图像中重建出高质量的3D CT图像。该方法在定性与基于LPIPS的定量评估中均优于当前最先进基线方法，在感知质量与纹理细节保持方面表现卓越。

ABSTRACT

Computed Tomography (CT) is a medical imaging modality that can generate more informative 3D images than 2D X-rays. However, this advantage comes at the expense of more radiation exposure, higher costs, and longer acquisition time. Hence, the reconstruction of 3D CT images using a limited number of 2D X-rays has gained significant importance as an economical alternative. Nevertheless, existing methods primarily prioritize minimizing pixel/voxel-level intensity discrepancies, often neglecting the preservation of textural details in the synthesized images. This oversight directly impacts the quality of the reconstructed images and thus affects the clinical diagnosis. To address the deficits, this paper presents a new self-driven generative adversarial network model (SdCT-GAN), which is motivated to pay more attention to image details by introducing a novel auto-encoder structure in the discriminator. In addition, a Sobel Gradient Guider (SGG) idea is applied throughout the model, where the edge information from the 2D X-ray image at the input can be integrated. Moreover, LPIPS (Learned Perceptual Image Patch Similarity) evaluation metric is adopted that can quantitatively evaluate the fine contours and textures of reconstructed images better than the existing ones. Finally, the qualitative and quantitative results of the empirical studies justify the power of the proposed model compared to mainstream state-of-the-art baselines.

研究动机与目标

• 解决现有CT重建方法过度关注像素级精度而忽视纹理与结构细节保持的问题。
• 通过仅利用两组2D X射线投影实现3D CT重建，降低辐射暴露与成本。
• 通过将输入X射线中的边缘与纹理信息融入生成过程，提升图像的感知质量。
• 开发一种基于GAN的框架，增强重建CT图像中细微解剖结构与轮廓的表达。
• 通过标准指标（PSNR、SSIM）与感知指标（LPIPS）共同验证所提方法的优越性。

提出的方法

• 生成器采用两个并行的U-Net编码器，共享SGG（Sobel梯度引导器）模块，以在编码阶段从输入的双平面X射线中提取并增强边缘特征。
• 融合网络在解码前将来自两个U-Net分支的特征进行融合，以重建3D CT图像体积。
• 判别器$D_d$采用新型的自编码器结构，通过重建输入CT图像并与其真实值进行比较，以强制实现感知一致性。
• 辅助判别器$D_r$为简单解码器，计算真实CT图像的重建损失$L_{dReconstr}$，从而提升全局与局部结构的特征学习能力。
• 模型使用LPIPS（学习感知图像块相似性）作为感知损失，以更优地评估与优化细微纹理与轮廓。
• 在生成器与两个判别器之间进行对抗性训练，使生成器能够输出逼真且高保真的CT图像体积。

实验结果

研究问题

• RQ1 自驱动GAN框架能否仅从两组双平面X射线投影中有效重建出细节丰富的3D CT图像？
• RQ2 将Sobel边缘信息整合到生成器中，如何提升重建CT图像的纹理与轮廓保真度？
• RQ3 与标准的局部块判别器相比，采用自编码器结构的判别器在提升感知质量方面有多大优势？
• RQ4 基于LPIPS的损失是否能比传统指标（如PSNR与SSIM）更有效地保持细微解剖结构细节？
• RQ5 在定量指标与重建CT图像的视觉质量方面，SdCT-GAN相较于最先进方法表现如何？

主要发现

• SdCT-GAN在保留细微纹理与几何边界方面优于最先进方法（如X2CT-GAN与X2CT-CNN），定性对比结果清晰显示其优势。
• 所提方法的LPIPS得分高于基线模型，表明其与真实CT图像在感知相似性方面更优。
• Sobel梯度引导器显著提升了边缘保持能力，尤其在脊柱等复杂解剖结构区域表现突出。
• 自编码器结构的判别器实现了更有效的特征学习，使重建的CT图像更加清晰与逼真。
• 在PSNR与SSIM比较中，SdCT-GAN表现具有竞争力，但其真正优势体现在感知质量，尤其是在纹理与轮廓准确性方面。
• 实证结果表明，SdCT-GAN能有效减少仅依赖MSE或L2损失方法中常见的模糊与伪影。