[论文解读] Synthetic data for unsupervised polyp segmentation

Enric Moreu, Kevin McGuinness+1 more|arXiv (Cornell University)|Feb 17, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了一种完全无监督的息肉分割方法，利用通过3D渲染生成的合成数据以及基于CycleGAN的域自适应技术，在无需任何医学专业人员标注的情况下，于真实世界数据集上实现了具有竞争力的性能。其主要贡献是Synth-Colon数据集，该数据集包含20,000张带有深度和3D网格标注的合成图像，即使在真实数据有限的情况下，也能实现最先进水平的结果。

ABSTRACT

Deep learning has shown excellent performance in analysing medical images. However, datasets are difficult to obtain due privacy issues, standardization problems, and lack of annotations. We address these problems by producing realistic synthetic images using a combination of 3D technologies and generative adversarial networks. We use zero annotations from medical professionals in our pipeline. Our fully unsupervised method achieves promising results on five real polyp segmentation datasets. As a part of this study we release Synth-Colon, an entirely synthetic dataset that includes 20000 realistic colon images and additional details about depth and 3D geometry: https://enric1994.github.io/synth-colon

研究动机与目标

• 解决由于隐私、标准化和专家标注限制导致的息肉分割中医学影像数据标注稀缺的问题。
• 开发一种完全无监督的流程，消除对真实世界医学标注的依赖。
• 利用3D渲染和基于GAN的域自适应技术，生成具有准确息肉分割掩码的高保真合成结肠镜图像。
• 证明即使在低数据环境下，合成数据也能在真实息肉分割基准上实现具有竞争力的性能，甚至优于某些有监督方法。
• 发布Synth-Colon，这是目前最大规模的带有深度和3D几何结构标注的合成息肉分割数据集，供公众使用。

提出的方法

• 使用可配置解剖和几何参数的3D渲染引擎生成合成结肠和息肉结构。
• 利用3D引擎内部的几何结构和空间关系，自动生成息肉的真值分割掩码。
• 应用CycleGAN将合成图像的域分布转移到真实结肠镜图像上，仅使用目标数据集的真实图像作为真实数据。
• 在逼真的合成图像和自动生成的分割掩码上训练HarDNeT-MSEG模型，无需任何人工标注的标签。
• 仅使用目标数据集的真实图像优化CycleGAN，而非混合数据集，以最小化域差距并提升真实感。
• 通过对抗性训练对齐合成与真实图像的分布，从而在域自适应过程中保留自动生成的分割标注。

实验结果

研究问题

• RQ1 能否仅使用合成数据，完全不依赖医学专业人士的标注，训练出息肉分割模型？
• RQ2 通过CycleGAN进行域自适应，在将合成息肉图像迁移到真实结肠镜域方面有多有效？
• RQ3 仅使用合成数据在多大程度上能实现与完全有监督方法在真实息肉分割基准上相当的性能？
• RQ4 当真实数据有限时，无监督合成方法的性能如何随数据量变化？
• RQ5 带有深度和3D网格标注的合成数据能否提升下游任务（如息肉分割和深度估计）的性能？

主要发现

• 所提出的无监督方法在CVC-T上达到0.703的平均Dice分数，在ColonDB上达到0.521，在Kvasir上达到0.759，证明了其在无需任何人工标注标签情况下的强大性能。
• 在Kvasir数据集上，仅使用五张真实图像进行CycleGAN训练时，该方法达到了0.642的Dice分数，当真实图像少于50张时，其性能优于有监督的HarDNeT-MSEG模型。
• 在Synth-Colon上训练的模型在CVC-T和Kvasir数据集上均优于多个完全有监督的基线模型，表明合成数据结合域自适应的有效性。
• 在目标特定的真实图像上训练CycleGAN（而非混合数据集）可获得更优性能，凸显了域特定自适应的重要性。
• 所发布的Synth-Colon数据集包含20,000张合成结肠图像，附带对应的分割掩码、深度图和OBJ格式的3D网格，可广泛用于医学影像研究。
• 该方法成功在域迁移过程中保留了自动生成的分割标注，使得无需人工标注即可在逼真合成数据上进行可靠训练。