[论文解读] SkrGAN: Sketching-rendering Unconditional Generative Adversarial Networks for Medical Image Synthesis

Tianyang Zhang, Huazhu Fu+8 more|arXiv (Cornell University)|Aug 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 4

一句话总结

SkrGAN 是一种新型的无条件 GAN，将医学图像合成分解为两个阶段：草图生成，随后进行色彩渲染，利用草图先验以提高结构保真度。它在合成视网膜、X光、CT 和 MRI 图像方面达到了最先进性能，且在数据增强中显著提升了分割精度。

ABSTRACT

Generative Adversarial Networks (GANs) have the capability of synthesizing images, which have been successfully applied to medical image synthesis tasks. However, most of existing methods merely consider the global contextual information and ignore the fine foreground structures, e.g., vessel, skeleton, which may contain diagnostic indicators for medical image analysis. Inspired by human painting procedure, which is composed of stroking and color rendering steps, we propose a Sketching-rendering Unconditional Generative Adversarial Network (SkrGAN) to introduce a sketch prior constraint to guide the medical image generation. In our SkrGAN, a sketch guidance module is utilized to generate a high quality structural sketch from random noise, then a color render mapping is used to embed the sketch-based representations and resemble the background appearances. Experimental results show that the proposed SkrGAN achieves the state-of-the-art results in synthesizing images for various image modalities, including retinal color fundus, X-Ray, Computed Tomography (CT) and Magnetic Resonance Imaging (MRI). In addition, we also show that the performances of medical image segmentation method have been improved by using our synthesized images as data augmentation.

研究动机与目标

• 为解决现有 GAN 在医学图像合成中难以保留细粒度解剖结构（如血管和骨骼）的局限性。
• 提出一种草图先验，模拟人类绘画过程——先进行结构草图绘制，再进行色彩渲染——从而提升生成质量。
• 开发一种无需条件监督或成对数据（如深度图）进行训练的无条件 GAN。
• 评估 SkaGAN 生成的图像是否能有效用于数据增强，以提升下游医学图像分割任务的性能。

提出的方法

• 该方法采用两阶段架构：草图引导模块 $G_S$ 从随机噪声生成结构草图，由草图判别器 $D_S$ 进行指导。
• 随后，色彩渲染映射模块 $G_P$ 通过融合草图表示与背景外观建模，生成最终的彩色图像，使用像素级判别器 $D_P$ 进行优化。
• 草图引导模块通过对抗性损失和感知监督，训练以保留如血管和骨骼等细粒度解剖结构。
• 色彩渲染模块通过条件化于草图学习生成逼真的纹理和强度，利用对抗性损失和循环一致性损失以确保保真度。
• 构建了一个草图草稿数据集，从真实图像中提取，用于监督草图生成阶段，以增强结构准确性。
• 整体训练为端到端联合优化，通过 GAN 损失、感知损失和结构相似性（MS-SSIM）损失联合优化两个模块。

实验结果

研究问题

• RQ1 草图引导的两阶段 GAN 架构是否能提升生成医学图像的保真度，特别是在保留血管和骨骼等细粒度解剖结构方面？
• RQ2 SkrGAN 在合成多样化医学图像模态方面，与最先进无条件 GAN（如 DCGAN、WGAN、PGGAN）相比表现如何？
• RQ3 SkrGAN 生成的图像在多大程度上可通过数据增强提升下游医学图像分割任务的性能？
• RQ4 使用草图先验是否相比直接从噪声到图像的 GAN，能带来更稳定和可控的图像生成？

主要发现

• 在视网膜眼底图像上，SkrGAN 的 Fréchet Inception Distance (FID) 达到最低值 27.59，优于 DCGAN（64.83）、ACGAN（96.72）、WGAN（240.7）和 PGGAN（110.8）。
• 在胸部 X 光图像上，SkrGAN 的 FID 为 114.6，显著低于 DCGAN（260.3）、ACGAN（235.2）、WGAN（300.7）和 PGGAN（124.2）。
• 在肺部 CT 上，SkrGAN 的 FID 为 79.97，优于 DCGAN（285.0）、ACGAN（222.5）、WGAN（349.1）和 PGGAN（91.89）。
• 在脑部 MRI 上，SkrGAN 的 FID 为 27.51，优于 DCGAN（285.0）、ACGAN（222.5）、WGAN（176.1）和 PGGAN（33.76）。
• 在 DRIVE 数据集的血管分割任务中，使用 SkrGAN 生成图像进行预训练，使敏感度从 0.7781 提升至 0.8464，相对提升 8.78%。
• 使用 SkrGAN 生成数据进行预训练时，AUC 和准确率也得到提升，证实其作为数据增强策略的有效性。