[论文解读] Synthesizing Filamentary Structured Images with GANs

He Zhao, Huiqi Li+1 more|arXiv (Cornell University)|Jun 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 20

一句话总结

本文提出Fila-GAN与Fila-sGAN，这两种基于生成对抗网络（GAN）的模型可从二值真值图生成逼真的纤维状结构生物医学图像——如视网膜与神经元图像。该方法仅需10个训练样本即可生成多样且高质量的模拟图像，并在数据增强中将下游分割模型的F1分数最高提升1.18%。

ABSTRACT

This paper aims at synthesizing filamentary structured images such as retinal fundus images and neuronal images, as follows: Given a ground-truth, to generate multiple realistic looking phantoms. A ground-truth could be a binary segmentation map containing the filamentary structured morphology, while the synthesized output image is of the same size as the ground-truth and has similar visual appearance to what have been presented in the training set. Our approach is inspired by the recent progresses in generative adversarial nets (GANs) as well as image style transfer. In particular, it is dedicated to our problem context with the following properties: Rather than large-scale dataset, it works well in the presence of as few as 10 training examples, which is common in medical image analysis; It is capable of synthesizing diverse images from the same ground-truth; Last and importantly, the synthetic images produced by our approach are demonstrated to be useful in boosting image analysis performance. Empirical examination over various benchmarks of fundus and neuronal images demonstrate the advantages of the proposed approach.

研究动机与目标

• 解决视网膜与神经元图像分析中因人工分割成本高且样本稀疏而导致的标注数据有限问题。
• 开发一种在小样本数据集上有效工作的数据驱动图像生成方法，适用于医学影像中常见的小规模数据集，而非依赖大规模数据集。
• 从单一真值输入生成多样且逼真的模拟图像，以增强训练数据的多样性。
• 证明将合成图像作为训练数据可提升下游图像分割模型的性能。
• 提出一种新颖的端到端GAN方法，整合风格迁移原理用于纤维状结构的生成，与以往依赖规则或领域知识的方法不同。

提出的方法

• 将条件生成对抗网络（conditional GANs）适配为以二值分割图为输入，生成纤维状结构图像。
• 在GAN框架中整合风格迁移技术，将真实图像中的真实纹理与外观特征迁移至合成输出中。
• 使用来自STARE与DRIVE等基准数据集的真实图像进行训练（最少仅10张），实现少样本学习。
• 采用多尺度判别器与感知损失，以保留细粒度的纤维状结构并提升视觉真实性。
• 训练两种变体：Fila-GAN（标准GAN）与Fila-sGAN（风格正则化GAN），后者更强调风格一致性。
• 通过生成40万张合成图像块进行数据增强，将这些合成块与真实图像块结合，用于微调分割模型。

实验结果

研究问题

• RQ1 基于GAN的模型是否能仅用10至20张真实训练样本有效合成逼真的纤维状结构图像？
• RQ2 模型能否从同一真值输入生成多样且视觉上可信的模拟图像，从而提升数据多样性？
• RQ3 将合成图像用作训练数据时，是否能提升下游图像分割模型的性能？
• RQ4 在真实数据与合成数据联合训练的模型性能，与仅使用真实数据训练的模型相比如何？
• RQ5 所提出的方法是否能在不同类型的生物医学图像（如视网膜眼底图像与神经元图像）之间实现良好泛化？

主要发现

• 在DRIVE视网膜图像基准上，使用真实数据与合成数据联合训练的分割模型，F1分数从79.15%提升至80.33%，表明性能有显著提升。
• 在真实数据量翻倍的训练设置下（40万张真实图像块），F1分数达到最高值80.70%，证实合成数据有益，但尚不能完全替代真实数据。
• 对于Fila-sGAN变体，真实数据与合成数据联合训练的设置在DRIVE数据集上达到80.49%的F1分数，表明两种模型变体均实现了稳定的性能提升。
• 视觉对比显示，使用真实数据训练的分割模型在合成模拟图像上泛化能力良好，但假阳性略少，而细小血管段的漏检略多。
• 合成图像在视觉上逼真且多样化，不同样本间的差异主要体现在细小而纤细的纤维状结构上。
• 该方法优于基线模型，并在性能上与当前最先进的分割方法（如DRIU，F1分数达82.20%）相当，显示出强大的数据增强潜力。