[论文解读] Unsupervisedly Training GANs for Segmenting Digital Pathology with Automatically Generated Annotations

Michael Gadermayr, Laxmi Gupta+3 more|arXiv (Cornell University)|May 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 12

一句话总结

本文提出一种完全无监督的基于生成对抗网络（GAN）的方法，通过利用形状先验生成合成标注，并在未配对数据上训练图像到图像的翻译模型，实现数字病理切片中肾小球的分割。该方法通过在标签域中引入模拟的细胞核，稳定了训练过程并实现了循环一致性，从而在性能上达到与使用两倍标注数据训练的有监督模型相当的水平。

ABSTRACT

Recently, generative adversarial networks exhibited excellent performances in semi-supervised image analysis scenarios. In this paper, we go even further by proposing a fully unsupervised approach for segmentation applications with prior knowledge of the objects' shapes. We propose and investigate different strategies to generate simulated label data and perform image-to-image translation between the image and the label domain using an adversarial model. Specifically, we assess the impact of the annotation model's accuracy as well as the effect of simulating additional low-level image features. For experimental evaluation, we consider the segmentation of the glomeruli, an application scenario from renal pathology. Experiments provide proof of concept and also confirm that the strategy for creating the simulated label data is of particular relevance considering the stability of GAN trainings.

研究动机与目标

• 通过消除对人工标注标签的依赖，解决数字病理学中人工标注训练数据成本高且稀缺的问题。
• 仅使用真实的全切片图像和自动生成的标注数据，实现分割任务的完全无监督训练。
• 探究在无配对数据设置下，对目标形状（圆形与椭圆形）的真实模拟以及引入额外图像特征（如细胞核）对GAN训练稳定性和分割性能的影响。
• 证明在标签域中引入结构先验可提升翻译质量，并在无配对数据条件下实现稳定且具备循环一致性的训练。

提出的方法

• 采用循环一致GAN（CycleGAN）架构，包含两个生成器和两个判别器，实现真实组织学图像与合成标注掩膜之间的未配对图像到图像翻译。
• 通过随机采样具有高斯分布半径和偏心率的圆形或椭圆形形状，生成合成标注掩膜，确保空间上的合理性。
• 通过在标签域中注入模拟的细胞核，增强训练稳定性，为生成器提供低层次的结构线索，帮助其学习有意义的图像到掩膜映射。
• 施加循环一致性损失，确保将图像翻译为掩膜后再反向翻译回图像，能够重建出接近原始图像的结果，从而实现在无配对数据下的训练。
• 在未配对数据集上进行训练：一个域为来自真实全切片图像的组织学图像，另一个域为基于形状先验和额外图像特征生成的合成二值掩膜。
• 采用多类别设置，在标签空间中同时建模肾小球和细胞核，提升生成器在翻译过程中保持细微结构的能力。

实验结果

研究问题

• RQ1 完全无监督的基于GAN的方法是否能在不依赖任何人工标注训练数据的情况下，实现具有竞争力的肾小球分割性能？
• RQ2 在未配对翻译设置下，形状建模方式（圆形 vs. 椭圆形）如何影响分割任务的稳定性和准确性？
• RQ3 在无配对数据条件下，向标签域中添加模拟的细胞核是否能显著提升训练稳定性和分割质量？
• RQ4 当标注训练数据量变化时，该无监督方法的性能与有监督基线相比处于何种水平？

主要发现

• 仅模拟肾小球的单类别设置导致训练不稳定且性能较差，模型常因缺乏结构上下文而将血管误分类为肾小球。
• 包含标签域中模拟细胞核的多类别设置实现了稳定训练，并生成了高质量的分割结果，显著优于单类别方法。
• 尽管无监督方法仅使用了四张标注的全切片图像（WSIs），其分割性能仍与使用八张全切片图像（约1000个标注肾小球）训练的有监督模型相当。
• 模拟对象的形状分布（圆形 vs. 椭圆形）对最终性能影响极小，表明准确的形状建模不如保持循环一致性重要。
• 该方法表现出高度灵活性，仅通过调整模拟模型即可适应新的染色方案或组织类型，而无需重新标注。
• 在低数据场景下，无监督方法在对象级别的F1分数表现优异，甚至在某些情况下超越了部分有监督基线，凸显其在数据稀缺环境下的高效性。