[论文解读] Unsupervised and semi-supervised learning with Categorical Generative Adversarial Networks assisted by Wasserstein distance for dermoscopy image Classification

Yi Xin, Ekta Walia+1 more|arXiv (Cornell University)|Apr 10, 2018

Cutaneous Melanoma Detection and Management参考文献 27被引用 41

一句话总结

本文提出 catWGAN，一种结合 Wasserstein 距离的类别GAN，在无监督和半监督设置下学习皮肤镜特征，在标签有限的情况下实现有竞争力的黑色素瘤分类并生成逼真的皮肤镜图像。

ABSTRACT

Melanoma is a curable aggressive skin cancer if detected early. Typically, the diagnosis involves initial screening with subsequent biopsy and histopathological examination if necessary. Computer aided diagnosis offers an objective score that is independent of clinical experience and the potential to lower the workload of a dermatologist. In the recent past, success of deep learning algorithms in the field of general computer vision has motivated successful application of supervised deep learning methods in computer aided melanoma recognition. However, large quantities of labeled images are required to make further improvements on the supervised method. A good annotation generally requires clinical and histological confirmation, which requires significant effort. In an attempt to alleviate this constraint, we propose to use categorical generative adversarial network to automatically learn the feature representation of dermoscopy images in an unsupervised and semi-supervised manner. Thorough experiments on ISIC 2016 skin lesion chal- lenge demonstrate that the proposed feature learning method has achieved an average precision score of 0.424 with only 140 labeled images. Moreover, the proposed method is also capable of generating real-world like dermoscopy images.

研究动机与目标

• 推动利用皮肤镜图像进行自动化黑色素瘤筛查，以减轻皮肤科医生工作负担并减少对标注数据的依赖。
• 开发一个特征学习框架，利用未标记的皮肤镜图像通过 catGAN，并通过 Wasserstein 距离的改进提升稳定性。
• 在 ISIC 2016 上用有限标记数据评估分类性能并与基线方法进行对比。
• 展示生成接近真实世界的皮肤镜图像以用于数据增强的能力。

提出的方法

• 采用带有第二个基于 Wasserstein 的判别器（D2）的 catGAN 以稳定训练并改善生成器梯度。
• 使用双判别器设置，其中 D1 输出黑色素瘤 vs 良性的分类置信度，D2 对真实样本与生成样本之间强制 Wasserstein 距离。
• 结合 catGAN 损失和 WGAN 梯度惩罚损失进行训练，在半监督模式下对带标签数据可选地使用交叉熵。
• 从 D1（倒数第三层）提取学习到的特征用于线性 SVM 评估，并在训练过程中跟踪特征演变。
• 应用真实的病变分割来分离病灶区域，调整尺寸为 64x64（在某些分析中为 128x128）以供网络输入。
• 架构：自定义的 catGAN 生成器 G 和判别器 D1 采用 DCGAN 风格的改进；D2 是一个专注于高频局部补丁的3层全卷积网络；使用 Adam（lr=0.0002）优化。
• 训练细节：无监督使用 20k 个未标记样本，半监督每类别 70 个标记样本（扩增至 10k），批量大小 200；lambda=10，alpha=0.1；共 16k 次迭代。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，使用 catGAN 的无监督和半监督学习是否能从皮肤镜图像中学习到可区分的黑色素瘤特征？
• RQ2 通过第二个判别器整合 Wasserstein 距离是否能稳定训练并提升黑色素瘤分类的特征质量？
• RQ3 catWGAN 学习到的特征表示与 ISIC 2016 上传统手工特征和去噪自编码器相比如何？
• RQ4 生成器是否能产生适用于数据增强的真实感皮肤镜图像？

主要发现

Method	AP	AUC	AC
catWGAN-unsuper (proposed)	0.351	0.613	0.812
catWGAN-semi (proposed)	0.424	0.690	0.810
Edge Histogram	0.265	0.571	0.665
Color Histogram	0.360	0.626	0.789
DAE	0.329	0.634	0.794

• 无监督的 catWGAN 在 ISIC 测试集上达到 AP 0.351、AUC 0.613、AC 0.812，相较于基线。
• 半监督 catWGAN 显著提升性能至 AP 0.424、AUC 0.690、AC 0.810，在 ISIC 测试集。
• 对比基线：Edge Histogram（AP 0.265, AUC 0.571, AC 0.665）、Color Histogram（AP 0.360, AUC 0.626, AC 0.789）、DAE（AP 0.329, AUC 0.634, AC 0.794）。
• 生成的 64x64（图 9 中为 128x128）皮肤镜图像显示出接近真实世界的样本。
• 特征演化在早期迭代中显示出 AC/AUC 的提升，适用于无监督和半监督训练，而 AP 趋于饱和。
• 在 ISIC 2016 测试集上，半监督 catWGAN 在所报告的指标上优于其无监督版本和基线方法。