[论文解读] Progressive Generative Adversarial Networks for Medical Image Super resolution

Dwarikanath Mahapatra, Behzad Bozorgtabar|arXiv (Cornell University)|Feb 6, 2019

Advanced Image Processing Techniques参考文献 18被引用 19

一句话总结

本文提出一种带有三元组损失的渐进式生成对抗网络（P-GAN），用于医学图像超分辨率，可在高达8倍的缩放因子下实现低分辨率医学图像的高质量重建。通过多阶段训练逐步优化输出，该方法在视网膜和心脏MRI应用中均显著优于现有的基于GAN和非GAN的方法，在图像质量与分割精度方面接近原始高分辨率扫描的水平。

ABSTRACT

Anatomical landmark segmentation and pathology localization are important steps in automated analysis of medical images. They are particularly challenging when the anatomy or pathology is small, as in retinal images and cardiac MRI, or when the image is of low quality due to device acquisition parameters as in magnetic resonance (MR) scanners. We propose an image super-resolution method using progressive generative adversarial networks (P-GAN) that can take as input a low-resolution image and generate a high resolution image of desired scaling factor. The super resolved images can be used for more accurate detection of landmarks and pathology. Our primary contribution is in proposing a multistage model where the output image quality of one stage is progressively improved in the next stage by using a triplet loss function. The triplet loss enables stepwise image quality improvement by using the output of the previous stage as the baseline. This facilitates generation of super resolved images of high scaling factor while maintaining good image quality. Experimental results for image super-resolution show that our proposed multistage P-GAN outperforms competing methods and baseline GAN.

研究动机与目标

• 为解决在低分辨率医学图像中准确检测解剖标志点和病理特征的挑战，特别是针对视网膜微动脉瘤或心脏室等小结构。
• 克服先前基于GAN的超分辨率方法依赖启发式参数或在高缩放因子下难以保持图像质量的局限性。
• 开发一种多阶段渐进式GAN框架，通过迭代优化系统性地提升图像质量。
• 在多种医学影像模态中（包括视网膜眼底和心脏MRI）验证该方法的有效性。

提出的方法

• 该方法采用多阶段渐进式GAN架构，其中每一阶段的输出作为下一阶段的输入，实现图像质量的逐步提升。
• 在GAN训练过程中引入三元组损失函数，确保每一阶段的输出比前一阶段的输出更接近原始高分辨率图像。
• 生成器网络基于深度残差网络（ResNet），采用跳跃连接，使用UNet风格的跳跃连接以保留空间细节。
• 判别器网络被训练以区分真实高分辨率图像与生成的超分辨率图像，而生成器则通过组合损失函数进行优化：MSE、感知损失（基于VGG）和三元组损失。
• 三元组损失强制实施相对排序：第i阶段生成的图像必须比第i-1阶段的输出更接近真实高分辨率图像。
• 该框架通过端到端训练，结合对抗损失、感知损失和三元组损失，以平衡保真度、真实感与渐进式改进。

实验结果

研究问题

• RQ1 在医学影像中，对于高倍缩放因子（如8倍）的情况，带有三元组损失的多阶段GAN是否能实现优于单阶段GAN的超分辨率性能？
• RQ2 与基线GAN及非GAN方法相比，使用三元组损失进行渐进式优化是否能带来可测量的图像质量与下游分割精度提升？
• RQ3 该方法生成的超分辨率图像在视网膜血管分割与微动脉瘤检测任务中，能在多大程度上匹配原始高分辨率图像的性能？
• RQ4 该方法能否在不同医学影像模态（如视网膜眼底与心脏MRI）之间实现良好泛化？

主要发现

• 在缩放因子为4时，所提出的P-SRGAN实现了43.7 dB的PSNR和0.83的SSIM，显著优于SRGAN（34.1 dB，0.70）和SRCNN（32.7 dB，0.69）。
• 在缩放因子为8时，该方法实现了41.3 dB的PSNR和0.79的SSIM，显著优于SRGAN（31.7 dB，0.67）和SSR（26.1 dB，0.59）。
• 在心脏左心室分割任务中，P-GAN方法在缩放因子4下达到91.3的Dice分数与6.9的Hausdorff距离（HD），优于SRGAN（86.4，9.0）和SRCNN（84.8，9.7）。
• 使用P-GAN生成的超分辨率图像进行分割的精度几乎与使用原始高分辨率图像所得结果无异，表明其具有强大的临床应用潜力。
• 与基线GAN及非GAN方法相比，该方法在重建图像中减少了模糊与伪影，视网膜与心脏MRI结果的视觉验证均证实了这一点。
• 三元组损失的使用实现了各阶段间的一致性质量提升，尤其在高缩放因子下，验证了渐进式优化机制的有效性。