[论文解读] Towards Adversarial Retinal Image Synthesis

Pedro Costa, Adrián Galdrán+5 more|arXiv (Cornell University)|Jan 31, 2017

Retinal Imaging and Analysis参考文献 16被引用 76

一句话总结

本论文学习在二进制血管树条件下通过图像到图像翻译框架以及对抗学习来合成视网膜底 fundoscopy 图像，使用通过U-Net血管分割生成的血管-血管树成对数据进行训练。

ABSTRACT

Synthesizing images of the eye fundus is a challenging task that has been previously approached by formulating complex models of the anatomy of the eye. New images can then be generated by sampling a suitable parameter space. In this work, we propose a method that learns to synthesize eye fundus images directly from data. For that, we pair true eye fundus images with their respective vessel trees, by means of a vessel segmentation technique. These pairs are then used to learn a mapping from a binary vessel tree to a new retinal image. For this purpose, we use a recent image-to-image translation technique, based on the idea of adversarial learning. Experimental results show that the original and the generated images are visually different in terms of their global appearance, in spite of sharing the same vessel tree. Additionally, a quantitative quality analysis of the synthetic retinal images confirms that the produced images retain a high proportion of the true image set quality.

研究动机与目标

• 激励生成合成视网膜数据以扩充有限的带注释医疗数据集。
• 提出一个数据驱动的管线，将二进制视网膜血管树映射到真实的视网膜图像。
• 利用对抗学习在保持血管结构的同时生成高质量的合成眼底图像。

提出的方法

• 将真实视网膜图像与通过U-Net分割模型获得的二进制血管树配对。
• 使用带有生成器G和判别器D的图像对图像翻译框架，将血管树映射到视网膜图像。
• 将对抗损失与局部L1损失相结合，以产生清晰而全局一致的图像：L(G,D)=L_adv(G,D)+λ E[||r−G(v)||1].
• 训练D将图像补丁分类为真实还是合成，并训练G在最小化L1项的同时欺骗D。
• 通过在下采样和上采样路径中添加处理层，将生成器架构升级以处理512x512输入/输出。

实验结果

研究问题

• RQ1 在保留全局结构和真实感的同时，是否可以从二进制血管树合成出可信的视网膜图像？
• RQ2 在常规无参考质量指标下，合成的视网膜图像与真实图像的接近程度如何？
• RQ3 在评估合成视网膜图像时，使用无参考的血管聚焦指标与全局图像结构指标相比，其影响是什么？
• RQ4 当血管树信息不完整或被分割误差降解时，会出现哪些故障模式？

主要发现

ISC score (mean)	ISC score (std)	Qv score (real)	Qv score (synthetic)
真实图像	0.9872	0.0468	0.1254	0.0340
合成图像	0.9889	0.0398	0.1047	0.0136

• 可以从二进制血管树生成视网膜图像，这些图像在颜色/照明上视觉上不同，但在全球血管几何结构上与真实图像相似。
• 定量评估显示真实图像和合成图像的ISC分数相近（0.9872±0.0468 vs 0.9889±0.0398；在去除伪影后p>0.05）。
• Qv分数是真实图像高于合成图像（0.1254±0.0340 vs 0.1047±0.0136；p<0.05）。
• 在约177个测试用例中有约6例出现伪影，这是由于分割失败导致的血管树不完全，表明依赖于血管树质量。