Skip to main content
QUICK REVIEW

[论文解读] Synthetic CT Generation from MRI Using Improved DualGAN

Denis Prokopenko, Joël Valentin Stadelmann|arXiv (Cornell University)|Sep 19, 2019
Advanced Image Processing Techniques参考文献 11被引用 10
一句话总结

本文提出了一种改进的DualGAN框架,用于无配对的MRI到CT图像合成,通过引入VGG-16的感知损失和坐标卷积层,提升了结构保真度和图像质量。该方法在合成CT图像上实现了61 HU的平均绝对误差(MAE)和0.8的SSIM,显著优于基线GAN模型,在真实感和解剖准确性方面均有提升。

ABSTRACT

Synthetic CT image generation from MRI scan is necessary to create radiotherapy plans without the need of co-registered MRI and CT scans. The chosen baseline adversarial model with cycle consistency permits unpaired image-to-image translation. Perceptual loss function term and coordinate convolutional layer were added to improve the quality of translated images. The proposed architecture was tested on paired MRI-CT dataset, where the synthetic CTs were compared to corresponding original CT images. The MAE between the synthetic CT images and the real CT scans is 61 HU computed inside of the true CTs body shape.

研究动机与目标

  • 开发一种稳健的无配对MRI到CT图像转换方法,用于放疗计划,无需配对扫描。
  • 通过仅从MRI生成合成CT图像,解决因独立采集MRI和CT导致的图像错配伪影问题。
  • 通过先进的深度学习组件提升合成CT图像的质量和结构一致性。
  • 评估感知损失和坐标卷积层在医学图像合成中对转换保真度的影响。

提出的方法

  • 采用改进的DualGAN架构,包含两个生成器(MRI→CT 和 CT→MRI)以及两个判别器,以在无配对数据下实现循环一致性。
  • 引入基于预训练VGG-16的感知损失函数,以匹配真实CT图像与生成CT图像之间的高层特征。
  • 整合坐标卷积层,将空间位置(x, y)编码到特征图中,以提升解剖结构的定位精度。
  • 在无配对的MRI和CT体数据上端到端训练模型,损失函数包括对抗损失、循环一致性损失和感知损失。
  • 使用三个数据集(CPTAC、头颈部癌、私有数据)进行训练,采用7:3的训练-测试划分,对3D轴向切片进行归一化和预处理。
  • 在测试集上使用MAE、PSNR和SSIM评估性能,对比四种配置:DualGAN、DualGAN+CC、DualGAN+VGG、DualGAN+VGG+CC。

实验结果

研究问题

  • RQ1基于预训练VGG-16网络的感知损失能否提升从MRI生成的合成CT图像的感知质量?
  • RQ2坐标卷积层的引入是否能增强MRI到CT转换中的空间准确性和结构细节?
  • RQ3与基线DualGAN相比,感知损失与坐标卷积层的组合在定量和定性性能上表现如何?
  • RQ4该模型在鼻腔和牙齿等复杂区域中对骨骼和空气等解剖结构的保留程度如何?
  • RQ5所提出的方法是否能在无需配对MRI-CT扫描的情况下,实现放疗计划所需的临床可接受图像质量?

主要发现

  • 同时采用感知损失和坐标卷积层的DualGAN(DualGAN+VGG+CC)实现了最低的MAE(60.83 ± 2.20 HU),优于基线DualGAN(62.95 ± 1.17 HU)。
  • 感知损失与坐标卷积的结合使SSIM提升至0.80 ± 0.03,高于基线的0.79 ± 0.02,表明结构相似性更好。
  • 在完整配置下,模型实现了17.21 ± 1.00 dB的PSNR,表明合成CT图像的信号质量更优。
  • 视觉评估确认,感知损失与坐标卷积显著提升了图像真实感并减少了模糊,尤其在软组织和骨性结构中表现更佳。
  • 最高误差出现在鼻腔和牙齿等复杂解剖区域,表明在细微结构转换方面仍存在局限性。
  • 该方法成功生成了具有临床相关图像质量的合成CT图像,在人体轮廓范围内MAE为61 HU,与当前最先进方法相当。

更好的研究,从现在开始

从阅读论文到最终审阅,大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成,并经人工编辑审核。