[论文解读] Unsupervised Medical Image Segmentation with Adversarial Networks: From Edge Diagrams to Segmentation Maps

Umaseh Sivanesan, Luis H. Braga+2 more|arXiv (Cornell University)|Nov 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 65被引用 13

一句话总结

本文提出了一种无监督医学图像分割方法，通过生成对抗网络（GANs）从边缘图生成合成训练数据，从而在无需真实标注数据的情况下实现高质量分割。该方法在肾脏超声和皮肤病变数据集上实现了当前最优的无监督性能，仅使用10%的标注数据进行微调即可接近有监督模型的表现。

ABSTRACT

We develop and approach to unsupervised semantic medical image segmentation that extends previous work with generative adversarial networks. We use existing edge detection methods to construct simple edge diagrams, train a generative model to convert them into synthetic medical images, and construct a dataset of synthetic images with known segmentations using variations on extracted edge diagrams. This synthetic dataset is then used to train a supervised image segmentation model. We test our approach on a clinical dataset of kidney ultrasound images and the benchmark ISIC 2018 skin lesion dataset. We show that our unsupervised approach is more accurate than previous unsupervised methods, and performs reasonably compared to supervised image segmentation models. All code and trained models are available at https://github.com/kiretd/Unsupervised-MIseg.

研究动机与目标

• 为解决标注医学图像数据有限的问题，提出一个完全无监督的分割框架。
• 利用医学图像中器官的几何一致性，从简单的边缘图生成逼真的合成训练数据。
• 在合成数据上训练有监督的分割模型，并将其应用于真实医学图像，而无需真实数据中的真实标签。
• 在真实临床数据集上评估性能，并与无监督和有监督基线方法进行比较。
• 探索使用极少标注数据的半监督微调，以提升分割精度。

提出的方法

• 使用预训练的边缘检测方法在真实医学图像上构建边缘图。
• 训练一个条件生成对抗网络（conditional GAN），从这些边缘图生成合成医学图像，并从图中推导出对应的分割图。
• 通过对手动提取的边缘图施加变化，以增加多样性并提升泛化能力，从而构建合成数据集。
• 使用已知真实分割标签的合成数据，训练有监督的分割模型（U-Net或Mask-RCNN）。
• 在肾脏超声和ISIC 2018皮肤病变数据集的真实测试图像上评估训练好的模型。
• 使用少量真实标注数据进行半监督微调，以提升性能。

实验结果

研究问题

• RQ1 边缘图能否作为强先验，用于生成具有准确分割图的逼真合成医学图像？
• RQ2 在纯合成数据上训练的分割模型是否能在真实医学图像分割任务中达到有竞争力的性能？
• RQ3 该无监督方法在真实临床数据集上的性能与现有无监督和有监督方法相比如何？
• RQ4 少量真实标注数据在多大程度上能提升无监督模型的性能？
• RQ5 无监督模型的失败模式是什么？它们与图像伪影或复杂解剖结构有何关联？

主要发现

• 在肾脏超声数据集上，无监督方法取得了F1分数0.81（±0.09）、mIoU为0.69（±0.12）和pACC为0.90（±0.05），优于先前的无监督方法（如W-net）。
• 使用10%标注数据的半监督版本达到F1为0.88（±0.08）和mIoU为0.80（±0.11），接近完全有监督U-Net的性能（F1: 0.91，mIoU: 0.84）。
• 在ISIC 2018皮肤病变数据集上，无监督方法取得了F1为0.830、mIoU为0.753和th-mIoU为0.683，优于先前的无监督方法，并接近有监督基线。
• 模型表现出较高的特异性（肾脏为0.92，皮肤病变为0.947），但敏感性中等（分别为0.87和0.835），表明存在过度分割或遗漏小区域的倾向。
• 失败案例主要由皮肤病变上的伪影（如镜片或薄膜）引起，模型错误地将这些伪影分割而非病变本身。
• 尽管使用平滑且凸的边缘图，模型仍能泛化至非凸和不规则边界，表明对几何复杂性具有鲁棒性。