[论文解读] Transformer and GAN Based Super-Resolution Reconstruction Network for Medical Images

Weizhi Du, Harvery Tian|arXiv (Cornell University)|Dec 26, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

本文提出T-GAN，一种新颖的医学图像超分辨率重建网络，通过整合Transformer与生成对抗网络（GANs），以增强纹理细节和结构保真度。通过利用自注意力机制实现全局特征匹配，并结合内容损失、对抗损失和特征损失的多任务损失函数，T-GAN在膝关节和腹部MRI数据集上实现了最先进性能，在PSNR和SSIM指标上优于SOTA方法，同时保留了细微的解剖学纹理。

ABSTRACT

Because of the necessity to obtain high-quality images with minimal radiation doses, such as in low-field magnetic resonance imaging, super-resolution reconstruction in medical imaging has become more popular (MRI). However, due to the complexity and high aesthetic requirements of medical imaging, image super-resolution reconstruction remains a difficult challenge. In this paper, we offer a deep learning-based strategy for reconstructing medical images from low resolutions utilizing Transformer and Generative Adversarial Networks (T-GAN). The integrated system can extract more precise texture information and focus more on important locations through global image matching after successfully inserting Transformer into the generative adversarial network for picture reconstruction. Furthermore, we weighted the combination of content loss, adversarial loss, and adversarial feature loss as the final multi-task loss function during the training of our proposed model T-GAN. In comparison to established measures like PSNR and SSIM, our suggested T-GAN achieves optimal performance and recovers more texture features in super-resolution reconstruction of MRI scanned images of the knees and belly.

研究动机与目标

• 为解决低剂量CT和低场强MRI中因噪声和分辨率损失导致诊断准确性下降的低分辨率医学图像挑战。
• 克服传统超分辨率方法因重建问题的病态性质而产生的边缘模糊和纹理幻觉问题。
• 通过在生成能力上结合Transformer的全局自注意力机制与GAN，提升超分辨率中的纹理和结构保真度。
• 设计一种结合内容损失、对抗损失和特征层级损失的多任务损失函数，以引导生成器输出逼真且高保真的结果。

提出的方法

• 所提出的T-GAN框架采用双分支生成器架构，其中一个分支使用残差学习，另一个分支则集成基于Transformer的模块以实现长程特征建模。
• Transformer模块通过在所有空间位置间计算自注意力，实现全局图像匹配，使模型能够聚焦于显著的解剖结构并保留纹理细节。
• 通过结合L1内容损失、来自判别器的对抗损失，以及使用预训练VGG网络中间特征的特征层级对抗损失，设计了多任务损失函数。
• 生成器与判别器通过极小化极大博弈进行端到端联合训练，其中生成器的目标是生成与真实高分辨率图像难以区分的图像。
• 通过感知与对抗性监督的组合对模型进行微调，以减少伪影并提升视觉真实感。
• 在膝关节和腹部MRI数据集以及低剂量胸部CT扫描上对框架进行了评估，定量指标包括PSNR和SSIM。

实验结果

研究问题

• RQ1 与传统超分辨率方法相比，基于Transformer增强的GAN架构是否能更有效地恢复低分辨率医学图像中的细粒度纹理细节？
• RQ2 在生成器中集成自注意力机制在多大程度上改善了医学图像超分辨率中的特征表示与重建精度？
• RQ3 结合内容损失、对抗损失与特征层级监督的多任务损失在多大程度上提升了重建图像的感知质量与结构保真度？
• RQ4 所提出的T-GAN模型是否在不同医学成像模态（如MRI与低剂量CT）上具有良好的泛化能力？
• RQ5 在PSNR、SSIM和视觉质量方面，该模型与当前最先进的SISR和RefSR方法相比表现如何？

主要发现

• 在膝关节MRI图像上，T-GAN实现了34.92的PSNR和0.9496的SSIM，优于EDSR（33.31 PSNR）和WDSR（33.998 PSNR）。
• 在腹部MRI图像上，T-GAN实现了34.69的PSNR和0.9353的SSIM，略高于WDSR（34.25 PSNR），并显著优于EDSR（33.43 PSNR）。
• 视觉对比显示，T-GAN重建的图像边缘更清晰，纹理细节更逼真，避免了双三次插值和EDSR方法中常见的过度平滑问题。
• 该模型在低剂量胸部CT图像上表现出强大的泛化能力，生成的高分辨率输出结构一致性更优，且噪声更少，优于基线方法。
• 消融实验证实，结合内容损失、对抗损失与特征损失的多任务损失函数对于平衡重建保真度与真实感至关重要。
• 集成Transformer模块显著提升了模型捕捉长程依赖关系并聚焦于具有诊断意义区域的能力，从而带来更优的性能表现。